一文揭開ALBERT的神祕面紗

本文是我對ALBERT論文的一個總結歸納，如有理解上的偏差、錯誤歡迎大家指正批評，感謝。 前言 RoBERTa沒霸榜幾天，這不Google爸爸就又放大招，這次的新模型不再是簡單的的升級，而是採用了全新的參數共享機制，反觀其他升級版BERT模型，基本都是添加了更多的預訓練任務，增大數據量等輕微的改動。這次ALBERT的改進，不僅提升了模型的整體效果再一次拿下來各項榜單的榜首，而且參數量相比BERT來

>>阅读原文<<