ERNIE: Enhanced Language Representation with Informative Entities

ERNIE: Enhanced Language Representation with Informative Entities 當前的預訓練語言模型中沒有融入KGs信息。而KGs能夠爲語言理解提供豐富的結構化信息。因此本文提出一種基於大規模語料和KGs訓練的增強語言模型ERNIE。實驗證明在knowledge-driven任務上，相比於bert取得顯著提升。 bert融合上下文，ernie融合

>>阅读原文<<