[NLP]word2vec原理

Hierarchical Softmax Cbow:     原理：用中心詞作爲預測的值（輸出），輸出可看做一個點，和其他點（詞語）做區分，共同構成了一個霍夫曼樹，要求Xw經過層次softmax函數，達到輸出預測值概率最大。     用周圍的詞做輸入，通過查表的形式，將原輸入的one-hot編碼形式轉換爲詞向量形式，詞向量表初始化時爲隨機值。然後簡單相加，得到Xw     霍夫曼樹建立，先將所有詞

>>阅读原文<<