詞向量經典模型：從word2vec、glove、ELMo到BERT

前言 詞向量技術將天然語言中的詞轉化爲稠密的向量，類似的詞會有類似的向量表示，這樣的轉化方便挖掘文字中詞語和句子之間的特徵。生成詞向量的方法從一開始基於統計學的方法（共現矩陣、SVD分解）到基於不一樣結構的神經網絡的語言模型方法。這裏總結一下比較經典的語言模型方法：word2vec、glove、ELMo、BERT。 其中BERT是最新Google發表的模型，在11個經典的NLP任務中全面超越最佳模

>>阅读原文<<