從懷才不遇到普度衆生——NLP中預訓練技術發展史

最近兩天在補習Transformer，ELMo，BERT，在知乎上看到一篇文章把這些全部串起來講的極其清晰，且構思縝密，邏輯精湛，強烈建議大家去看原文*《從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史》*https://zhuanlan.zhihu.com/p/49271699 全程乾貨，感謝原作者給予大腿！ 本文以學習筆記爲主，如有不足，歡迎指正。 BERT ——

>>阅读原文<<