[深度學習] 自然語言處理 --- 從BERT, XLNet, RoBERTa, ERNIE2到ALBERT2

谷歌Lab發佈了一個新的預訓練模型"ALBERT"全面在SQuAD 2.0、GLUE、RACE等任務上超越了BERT、XLNet、RoBERTa再次刷新了排行榜!ALBERT是一種輕量版本的BERT,利用更好的參數來訓練模型,但是效果卻反而得到了很大提升!ALBERT的核心思想是採用了兩種減少模型參數的方法,比BERT佔用的內存空間小很多,同時極大提升了訓練速度,更重要的是效果上也有很大的提升!
相關文章
相關標籤/搜索