論文淺嘗 | K-BERT: Enabling Language Representation with Knowledge Graph

1.論文動機 論文認爲通過泛用型公開語料預訓練得到的BERT模型只擁有「常識」，在特定垂直領域（如科技、醫療、教育等）的任務中表現效果存在提升空間。由於pre-training and fine-tuning在領域上的差異，利用BERT做知識驅動任務的時候表現不盡如人意。 論文提出的K-BERT通過引進知識圖譜（將知識庫中的結構化信息（三元組）融入到預訓練模型）中，可以更好地解決領域相關任務。 如

>>阅读原文<<