最前沿的12個NLP預訓練模型

1 引言 17年transformer被提出，18年迎來了ELMo和BERT的橫空出世，19年預訓練模型不出意外地開始了全面的爆發。 所以，預訓練模型也成爲了NLPer繞不過去的一個技術棧，這篇文章將會梳理一下我學習過的12個預訓練模型。這是一篇review性質的文章，跳過了一些基礎的知識，可能會對一些沒用過預訓練模型的讀者不大友好。 預訓練模型，在我看來，相對傳統模型做的革新，主要體現在以下三個

>>阅读原文<<