Word2Vec解讀

背景 從上一章神經網絡語言模型(NNLM)我們瞭解到，他的優點相比傳統的統計語言模型，首次引入詞向量word embedding的概念，將離散的統計模型轉爲了高維空間中的連續稠密向量，解決了傳統統計語言模型的平滑問題，並且將Ngram的複雜度的指數增長轉爲了線性，並且N元組共現未必相似問題也得到一定的解決。但是NNLM由於前饋全鏈接層網絡加上look-up table後參數量過於龐大，訓練時間很慢

>>阅读原文<<