幾個與BERT相關的預訓練模型分享-ERNIE，XLM，LASER，MASS，UNILM

基於Transformer的預訓練模型彙總 1. ERNIE: Enhanced Language Representation with Informative Entities（THU） 特點：學習到了語料庫之間得到語義聯繫，融合知識圖譜到BERT中，本文解決了兩個問題，structured knowledge encoding 和 Heterogeneous Information Fusi

>>阅读原文<<