CS224N筆記 第二講 詞向量的表示word2vec

記錄一下幾個比較重要的問題防止自己忘記。 skip-grams模型 Predict context words given target (position independent)。由目標向量 來推導出上下文詞的概率。 定義一個大小爲2m的窗口，有一箇中心詞，左右各爲M個詞。 下面就是目標函數，最大似然概率，就是讓這2m個詞成爲中心詞的概率最大化。這裏連乘自然默認這些詞是獨立同分布的，但是上下文

>>阅读原文<<