【PTM】ALBERT：自監督學習的輕量級 BERT

今天閱讀的是 Google 同學 2019 年的論文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》。 我們知道模型效果會隨着模型深度的增加得到提升，然而模型深度的增加也會使得訓練變得更困難，爲了解決這個問題，Google 的同學提出了一個輕量級的 BERT：ALBERT，參數比 BERT-

>>阅读原文<<