論文筆記《Knowledge Enhanced Contextual Word Representations》

Motivition 作者的出發點有幾個: 儘管BERT這種預訓練模型取得了state-of-art的成績。但是、因爲他們沒有包含真實世界的實體,所以導致這些模型也很難覆蓋真實世界的知識。 沒有實體沒有知識怎麼辦呢?Knowledge bases、知識庫有。 知識庫不僅擁有豐富的高質量、人類產生的知識,而且他們包含與原始文本中互補的信息,還能夠編碼事實性的知識。所以用知識庫可以解決因不頻繁出現但是
相關文章
相關標籤/搜索