word2vec中的subsampling和negative sampling

實現word2vec的skip-gram神經網絡訓練模型中，通過一個矩陣將輸入的n維向量轉化爲m維向量，考慮到模型輸入層和輸出層的權重，會產生m*n*2個權重，一般詞彙表長度n很大，name調整修正這麼多權重使訓練速度降低，同時需要大量的訓練數據來調整權重防止過擬合，這樣又增加了這個網絡訓練的複雜性。爲了解決這個問題，Word2vec的作者又提出了三種方法： 1. 把常用的詞組作爲一個單詞，例如n

>>阅读原文<<