通俗易懂的NCE Loss

NCE loss : Noise Contrastive Estimation 他的直觀想法：把多分類問題轉化成二分類。 之前計算softmax的時候class數量太大，NCE索性就把分類縮減爲二分類問題。 之前的問題是計算某個類的歸一化概率是多少，二分類的問題是input和label正確匹配的概率是多少。 問題： 通常訓練例如word2vec的時候，我們最後用full softmax預測出下一個

>>阅读原文<<