ERNIE: Enhanced Language Representation with Informative Entities

Motivation 自從BERT被提出之後，整個自然語言處理領域進入了一個全新的階段，大家紛紛使用BERT作爲模型的初始化，或者說在BERT上進行微調。BERT的優勢就在於使用了超大規模的文本語料，從而使得模型能夠掌握豐富的語義模式。但BERT是否還有改進的空間呢？如下圖，當提到鮑勃迪倫的時候，單純依靠大規模的普通文本很難理解到底是指音樂家還是作者，但如果加入充分的先驗知識，那麼模型可能就會學習

>>阅读原文<<