預訓練語言模型關係圖+必讀論文列表，清華榮譽出品

預訓練語言模型（PLM）是 NLP 領域的一大熱門話題。從 BERT 到 GPT2 再到 XLNet，各類預訓練模型層出不窮，很多同窗感嘆，「大佬慢點，跟不上了……」那麼，這麼多預訓練模型要怎麼學？它們之間有什麼關聯？爲了理清這些問題，來自清華大學的兩位本科同窗整理了一份預訓練語言模型必讀論文列表，還用圖的形式整理出了這些模型之間的複雜關係。

機器之心整理，項目做者：王曉智、張正彥，參與：張倩、杜偉。

Github 項目：github.com/thunlp/PLMp…

項目的兩位做者——王曉智和張正彥都是清華大學的在讀本科生。其中，王曉智師從清華大學計算機系教授李涓子和副教授劉知遠，研究方向爲 NLP 和知識圖譜中的深度學習技術，於今年 4 月份入選 2019 年清華大學「將來學者」計劃第二批名單；張正彥則參與過孫茂松教授指導的不少工做，如以前發佈的「 圖神經網絡必讀論文列表」。此外，他仍是加強版語言表徵模型 ERNIE 的第一做者，並參與了多領域中文預訓練模型倉庫 OpenCLaP 的建立。

在這個預訓練模型論文列表項目中，兩位同窗首先給出了一份預訓練語言模型的關係圖：

圖中列出了 BERT、GPT、XLNet、ERNIE 等你們熟知的模型以及它們之間的關係。以 BERT 和清華大學提出的 ERNIE 爲例，張正彥等人曾在論文中指出，BERT 等預訓練語言模型只能學習語言相關的信息，學習不到「知識」相關的信息。所以他們提出用知識圖譜加強 BERT 的預訓練效果，讓預訓練語言模型也能變得「有文化」。在這張圖中咱們能夠清楚地看到論文中闡述的這種關係，即 BERT+知識圖譜→ERNIE（清華版）。這種簡化版的展現對於初學者理清思路很是有幫助。

除了這張關係圖，兩位同窗還給出了一份預訓練語言模型必讀論文列表。列表分爲三個部分：模型、知識蒸餾與模型壓縮以及相關分析論文。機器之心曾經介紹過其中的一些論文，讀者能夠根據連接找到相關論文中文介紹。

模型部分包含 34 篇論文，列表以下：

其中，機器之心介紹過的論文以下：

• NAACL 2018 | 最佳論文：艾倫人工智能研究所提出新型深度語境化詞表徵

• 迄今最大模型？OpenAI 發佈參數量高達 15 億的通用語言模型 GPT-2

• ACL 2019 | 清華等提出 ERNIE：知識圖譜結合 BERT 纔是「有文化」的語言模型

• NLP 前沿研究成果大開源，百度 PaddleNLP-研究版發佈

• 7 Papers | 清華天機芯片；非侵入式腦機接口；ACL 2019 論文

「知識蒸餾與模型壓縮」部分包含 11 篇論文，列表以下：

其中，機器之心介紹過的論文以下：

• TinyBERT：模型小 7 倍，速度快 8 倍，華中科大、華爲出品

• 預訓練小模型也能拿下 13 項 NLP 任務，谷歌 ALBERT 三大改造登頂 GLUE 基準

分析部分包含 26 篇論文，列表以下：

其中，機器之心介紹過的論文以下：

• 7 papers | 華爲、MIT 韓鬆論文；DeepMind 開源 OpenSpiel；目標檢測算法全面綜述

• 紅樓夢、法律，BERT 已有如此多的神奇應用

• 如何可視化 BERT？你須要先理解神經網絡的語言、樹和幾何性質

• ACL 2019 提早看：預訓練語言模型的最新探索

• 技驚四座的 BERT 全靠數據集？大模型霸榜或許是學界的災難

• 嵌入向量可否理解數字？BERT 竟不如 ELMo？

• 如何可視化 BERT？你須要先理解神經網絡的語言、樹和幾何性質

• 7 Papers | 谷歌量子霸權論文；13 項 NLP 任務奪冠的小模型 ALBERT

參考連接：

github.com/thunlp/PLMp…