4-3 item2vec依賴模型word2vec之skip gram數學原理介紹

1. 問題抽象 skip gram是已知中間詞，最大化它相鄰詞的概率。 與CBOW的不同：CBOW的時候，是選取一次負採樣；而這裏對於中間詞的上下文的每一個詞，每一次都需要進行一個負採樣。 下面看一下條件概率： 與之前的CBOW大體形式一樣，不同之處： （1）隱含層輸出的是中間詞對應的詞向量；而CBOW是輸出的所有中間詞上下文詞向量對應的和； （2）theta：上下文的詞，或者是上下文的詞選出來的

>>阅读原文<<