拒絕無腦吹！從ACL20看預訓練缺陷

文 | 舒意恆、兔子醬 來自 | 夕小瑤的賣萌屋 以 BERT 爲代表作的預訓練模型的研究熱度一直很高，到 0202 年了，預訓練的研究依舊層出不窮，而且 ACL 2020 Best Paper 榮譽提名也選擇了這一主題的研究。 但是，只要我們不停止預訓練，其表現就一定會提升嗎？預訓練模型可以完全支持 NLP 的所有下游任務嗎？在 ACL 2020 已發表的論文中，我們整理並歸納出了目前學術界對預

>>阅读原文<<