nlp自然語言處理之word2vec--cbow和skip gram講解

1、模型結構——CBOW   輸入層：上下文單詞的onehot。單詞向量空間dim爲V，上下文單詞個數爲C 所有onehot分別乘以共享的輸入權重矩陣W。V*N矩陣，N爲自己設定的數，初始化權重矩陣W 所得的向量相加求平均作爲隱層向量，size爲1*N. 乘以輸出權重矩陣W' 得到向量1*V激活函數處理得到V-dim概率分佈，對應V個單詞 概率最大的index所指示的單詞爲預測出的中間詞與true

>>阅读原文<<