NLP領域中的預訓練模型雜談

近期NLP領域發生了不少大事，基本都離不開Pretrain這個字眼，好比大名鼎鼎的BERT、GPT等，筆者也是在近期擼了 7篇 近一年內相關的論文及它們的源碼，這裏就是對這7篇論文進行一個大總結，用更有條理的方式理清這些模型的關係，以期能加深印象，真正掌握這些論文背後要強調的思路~git 文章目錄 一. 前言 二. 雜談 1. 爲啥pretrain是有用的？ 2. 分類 3. 對比 4. 優缺點

>>阅读原文<<