[深度學習] 自然語言處理 --- Albert介紹

一、簡介 隨着Transfomer結構的普及，一時間大語料、大參數量的預訓練模型成爲主流。當在實際部署BERT等模型時，往往需要使用蒸餾、壓縮或其他優化技術對模型進行處理。 ALBERT模型來自論文 Google 最近公佈的論文 《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》從名字就可以看

>>阅读原文<<