Word Embedding:負樣本損失函數結果異常

實驗環境 框架：tensorflow 模型選擇：CBOW+NCE loss 單詞個數：30000 問題描述 NCE損失函數表示如下： Jθ=−∑w∈V(logP(y=1|x)+∑i=1klogP(y=0|x(w(i)))) 該損失函數計算上下文與目標單詞之間的點積，採集每一個正樣本的同時採集k個負樣本。公式的第一項最小化正樣本的損失，第二項最大化負樣本的損失。現在如果將負樣本作爲第一項的變量輸入，

>>阅读原文<<