微軟亞洲研究院成立20週年時表示：NLP將迎來黃金十年。vue
ACL2019NLP進展趨勢也主要包括：預訓練語言模型、低資源NLP任務（遷移學習/半監督學習/多任務學習/主動學習）、模型可解釋性、更多任務&數據集。web
【預訓練語言模型】已經造成了一種新的 NLP 範式：使用大規模文本語料庫進行預訓練，對特定任務的小數據集微調，下降單個 NLP 任務的難度。微信
預訓練模型最開始是在圖像領域提出的，得到了良好的效果，近幾年才被普遍應用到天然語言處理各項任務中。性能
預訓練模型的應用一般分爲兩步：學習
第一步：在計算性能知足的狀況下用某個較大的數據集訓練出一個較好的模型；人工智能
第二步：根據不一樣的任務，改造預訓練模型，用新任務的數據集在預訓練模型上進行微調。url
預訓練模型的好處是訓練代價較小，配合下游任務能夠實現更快的收斂速度，而且可以有效地提升模型性能，尤爲是對一些訓練數據比較稀缺的任務。spa
今天，給你們推薦的這10篇學術論文，都是經典中的經典，對你們在學習預訓練模型時有很大幫助。其中有圖靈獎得主的經典之做，也有最強的特徵提取器、最強的NLP模型、最全的大規模預訓練模型，還有ACL2020最佳論文。.net
10篇經典人工智能學術論文3d
這些論文是由老師盡心挑選的，很是適合對預訓練模型有所瞭解的同窗、有必定基礎的NLP同窗、對詞向量有了解的同窗、合適NLP知識進階同窗等。
長按掃碼添加
本號只有200個名額
↓ ↓ ↓
備註【論文】添加👆
最後，給你們推薦爲期三天的《文本生成任務——GPT系列模型訓練營》，主要講述最強特徵提取器Transformer理論原理解讀；GPT一、GPT二、GPT3演進過程；文本生成任務等。8月10號晚上7:30開班，感興趣的同窗也能夠掃描上面二維碼諮詢哦！
本文分享自微信公衆號 - Vue中文社區（vue_fe）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。