K-BERT: Enabling Language Representation with Knowledge Graph閱讀筆記

最近實驗室要做預訓練語言模型和知識圖譜結合的交互式智能的研究，於是讀了這篇北大與騰訊聯合發表的K-BERT: Enabling Language Representation with Knowledge Graph。文章把知識圖譜（KG）應用在BERT中創建了K-BERT模型，用以解決BERT模型在專業領域表現不佳的問題，一舉解決了HES和KN兩大問題。 K-BERT模型主要包括四部分：Know

>>阅读原文<<