對ALBERT的理解

ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS Google大大的BERT（https://arxiv.org/pdf/1906.08237.pdf） 在 2018 年年底通過預訓練打敗了 NLP 上 11 個任務的經典算法；XLNet 在 2019 年提出來通過雙向網絡的方法超過了 BERT

>>阅读原文<<