達摩院NLP團隊斬獲六項世界冠軍背後，讓AI沒有難懂的語言

2018年末，BERT橫空出世，它採用自編碼對句子進行表示，通過預測掩蓋詞和上下句之間的關係作爲語言模型學習任務，使用更多的數據，更大的模型，在多個自然語言處理（NLP）任務中顯著超越之前的結果。這一年被視爲預訓練語言模型的元年。   2019至今，預訓練語言模型呈現百花齊放、百家爭鳴態勢。其中，既有將自迴歸和自編碼結合的生成式語言模型，也有將多種語言融合的預訓練語言模型，更有將語言和圖像等模態融

>>阅读原文<<