自然語言處理：CBOW（哈夫曼樹）與Skip-Gram模型

gensim庫中的word2vev中模型主要使用了CBOW（哈夫曼樹）與Skip-Gram模型。CBOW表示基於上下文來預測目標詞，即輸入是2c個上下文詞（c表示窗口大小），輸出是目標詞的概率；Skip-Gram則是恰恰相反，輸入是當前的目標詞，輸出則是上下文詞的概率。 在確定了輸入輸出之後，其實訓練的方式也就很明顯了，（例如CBOW）輸入層經過隱藏層最後softmax輸出所有詞的概率，然後反向傳

>>阅读原文<<