論文解讀：詞向量作爲隱式矩陣分解（SGNS）

1. 前言 解讀SGNS（skip-gram with negative-sample）的訓練方法。 1.1 skip-gram 模型： 利用當前時刻的詞，預測它上下文的內容 公式： 對於序列 w1, w2, …, wT, Skip-gram最大化平均的log 概率。 p(w|w_t) 使用softmax函數： 這裏， W是詞彙表中單詞的數量。 1.2 Skip-gram + negative s

>>阅读原文<<