ERNIE: Enhanced Language Representation with Informative Entities 論文研讀

1. 摘要   NLP表示模型如BERT的預訓練模型能夠在大量的純文本語料中捕獲豐富的語義信息，並且通過微調改進NLP任務的效果。然而，已存在的預訓練語言模型很少考慮將知識圖譜的結構化信息融入其中，從而提高語言的理解。我們認爲知識圖譜中的信息實體能夠增強語言表示。在這篇論文中，我們利用了大規模的語料信息和知識圖譜，去訓練一個增強的語言表示模型，它能夠同時利用詞彙、語義和知識信息。實驗結果表明了ER

>>阅读原文<<