ERNIE-Enhanced Language Representation with Informative Entities 閱讀筆記

2019年清華在ACL提出ERNIE模型，同年，百度也提出一個ERNIE模型。本篇論文主要針對的是清華的模型。 BERT模型在很多NLP任務中取得很好的效果，但是BERT模型只是就事論事，缺乏對知識的理解。因此ERINE模型在輸入上加入了sentence存在於知識圖譜中的實體信息。比如’Bob is a writer.’，在bert中原始的輸入爲[‘Bob’, ‘is’, ‘a’, ‘writer

>>阅读原文<<