[NLP]word2vec原理

Hierarchical Softmax Cbow:     原理:用中心詞作爲預測的值(輸出),輸出可看做一個點,和其他點(詞語)做區分,共同構成了一個霍夫曼樹,要求Xw經過層次softmax函數,達到輸出預測值概率最大。     用周圍的詞做輸入,通過查表的形式,將原輸入的one-hot編碼形式轉換爲詞向量形式,詞向量表初始化時爲隨機值。然後簡單相加,得到Xw     霍夫曼樹建立,先將所有詞
相關文章
相關標籤/搜索