論文解讀:詞向量作爲隱式矩陣分解(SGNS)

1. 前言 解讀SGNS(skip-gram with negative-sample)的訓練方法。 1.1 skip-gram 模型: 利用當前時刻的詞,預測它上下文的內容 公式: 對於序列 w1, w2, …, wT, Skip-gram最大化平均的log 概率。 p(w|w_t) 使用softmax函數: 這裏, W是詞彙表中單詞的數量。 1.2 Skip-gram + negative s
相關文章
相關標籤/搜索