第四節：ALBERT

目錄 回顧BERT 1. 降低模型參數,加寬加深模型 2. 改進NSP任務爲SOP 3. 去掉dropout 4. 增加訓練數據 總結 最近在家聽貪心學院的NLP直播課。放到博客上作爲NLP 課程的簡單的梳理。 簡介：雖然BERT模型本身是很有效的，但這種有效性依賴於大量的模型參數，所以訓練一套BERT模型所需要的時間和資源成本是非常大的，甚至這樣複雜的模型也會影響最終效果。在本次講座裏，我們重點

>>阅读原文<<