[CLS]預訓練語言模型的前世今生[SEP]萌芽時代[SEP]

之前，我們公衆號發表過幾篇前沿論文的閱讀筆記，歡迎大家去閱讀和交流。而在這裏，我們將會做一個NLP專題的系列閱讀，專門閱讀某些專題的論文。第一個當然是預訓練語言模型，之後可能會有閱讀理解，以及其他專題的閱讀。 因爲文章較多，每個專題系列，都會分多篇推送來給大家呈現，敬請期待！ 前言 前段時間，在github裏發現一個很不錯的repo，是母校自然語言處理實驗室維護的關於自然語言處理中預訓練語言模型的

>>阅读原文<<