拒絕無腦吹！從ACL20看預訓練缺陷

星標/置頂小屋，帶你解鎖 最萌最前沿的NLP、搜索與推薦技術 文 | 舒意恆、兔子醬 以 BERT 爲代表作的預訓練模型的研究熱度一直很高，到 0202 年了，預訓練的研究依舊層出不窮，而且 ACL 2020 Best Paper 榮譽提名也選擇了這一主題的研究。 但是，只要我們不停止預訓練，其表現就一定會提升嗎？預訓練模型可以完全支持 NLP 的所有下游任務嗎？在 ACL 2020 已發表的論文

>>阅读原文<<