Word2vec 總結

Word2vec 總結 兩類模型：continuous bag-of-words （CBOW）根據上下文預測中心詞；skip-gram 根據中心詞預測上下文 兩種訓練方式：負採樣和層次 softmax，負採樣通過抽取負的樣本建立目標函數，而層次 softmax 使用樹結構來計算每個詞的概率。 word2vec 是基於神經網絡的語言模型，輸入詞嵌入矩陣 V V V和輸出詞嵌入矩陣 U U U是模型要

>>阅读原文<<