(2019ACL)ERNIE：Enhanced Language Representation with Informative Entities

論文鏈接：https://www.aclweb.org/anthology/P19-1139.pdf 一、Motivation 像BERT這種預訓練的語言模型雖然在很多NLP任務上都取得了不錯的效果，但是BERT只是能讓一句話表達的更通順，並沒有融合外部的知識。而外部的信息實體是可以提高語言表徵能力的。因此這篇論文通過融合知識圖譜（KGs）能讓模型同時利用詞典，語法和知識信息。 二、解決的問題 爲

>>阅读原文<<