Skip-Gram

Skip-Gram是一種詞嵌入模型，模型的結構如下所示： 該模型是根據中心詞計算上下文詞，概率爲 每一個單詞有兩個詞向量，一個是作爲中心詞時的向量，一個是作爲上下文詞時的向量，公式中v是作爲中心詞時候的向量，u是作爲上下文詞時的向量。該概率的分子是中心詞與某一個詞的相似度，分母是中心詞與字典中所有詞的相似度的和。 用softmax的原因是，有的內積爲負數，但是概率不可能爲負數，所以用指數，讓所有的

>>阅读原文<<