NLP詞向量:從word2vec、glove、ELMo到BERT詳解

  目前,詞向量(又叫詞嵌入word embedding)已經成爲NLP領域各種任務的必備一步,而且隨着bert elmo,gpt等預訓練模型的發展,詞向量演變爲知識表示方法,但其本質思想不變。學習各種詞向量訓練原理可以很好地掌握NLP各種方法。生成詞向量的方法有很多種,本文重點介紹word2vec,glove和bert。 各種詞向量的特點: One-hot:維度災難 and 語義鴻溝; 矩陣分解
相關文章
相關標籤/搜索