預訓練語言模型整理（ELMo/GPT/BERT...）

目錄 簡介 預訓練任務簡介 自迴歸語言模型 自編碼語言模型 預訓練模型的簡介與對比 ELMo 細節 ELMo的下游使用 GPT/GPT2 GPT 細節 微調 GPT2 優缺點 BERT BERT的預訓練 輸入表徵 Fine-tunninng 缺點 ELMo/GPT/BERT對比，其優缺點 BERT-wwm RoBERTa ERNIE(艾尼) 1.0 ERNIE 2.0 XLNet 提出背景 排列語

>>阅读原文<<