論文閱讀---ERNIE: Enhanced Language Representation with Informative Entities

天然語言表徵模型最近受到很是多的關注，不少研究者將其視爲 NLP 最重要的研究方向之一。例如在大規模語料庫上預訓練的 BERT，它能夠從純文本中很好地捕捉豐富的語義模式，通過微調後能夠持續改善不一樣 NLP 任務的性能。所以，咱們獲取 BERT 隱藏層表徵後，可用於提高本身任務的性能。web 可是，已有的預訓練語言模型不多考慮知識信息，具體而言即知識圖譜（knowledge graphs，KG），

>>阅读原文<<