ALBERT 與ELECTRA，小排量的大飛機

前言 隨着BERT的橫空出世，目前越來越多優秀的預訓練語言模型涌現出來，學習的步伐跟不上發展的速度。 BERT 剛出來時，感覺，可預期的時間內，只要預訓練目標任務足夠好，相信效果會有更進一步提升。 預訓練語言模型 名稱 特點 機構 ELMO 自迴歸語言模型，雙層BiLSTM AllenNLP BERT 自編碼語言模型，Transformer 谷歌 GPT，GPT 2.0 自迴歸，Transform

>>阅读原文<<