word2vec中的數學原理

文章主要是爲了今後回顧自己所學，多爲總結他人經驗所得。 CBOW模型的網絡結構包括三層：輸入層、投影層和輸出層。和神經概率語言模型相比，他沒有了隱藏層。且其投影層是將輸入層的向量做求和累加而不是拼接。另外一個特殊之處在於，其輸出層是樹形結構（Haffman樹）而不是線性結構。 然後我們說一下它的輸出層。輸出層對應的是一顆二叉樹，它以語料中出現過的詞當葉子節點，以各詞在語料中出現的次數當權值構造出來

>>阅读原文<<