ALBERT 思想簡介

      前段時間簡單看了下 ALBERT 的paper(ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS)， 簡單記錄下論文的思想，穿插一點點個人想法。       1  背景         1.1 從BERT以來，NLP的預訓練模型變得越來越大，佔用的 GPU/TPU顯存越來越高。  

>>阅读原文<<