word2vec中的負採樣（以CBOW模型爲例）

CBOW模型圖      輸入詞w（t）的上下文單詞的詞向量（隨機生成），輸入層單詞加和得到了一個跟輸入詞相同維數的向量。對此向量進行相應操作，使得輸出爲w(t)的概率最大。     當然輸出層可以用softmax，目標：w(t)的softmax值最大。針對此目標我們採用交叉熵損失函數。當然這個模型不僅僅針對預測一個單詞時，我們需要將預測所有單詞的交叉熵損失函數相加作爲全局的損失函數，進行多次誤差

>>阅读原文<<