Word2Vec原理解析二

上篇文章介紹了Word2Vec的精髓內容，這篇文章主要介紹層次Softmax和負採樣的內容，即Word2Vec的訓練技巧，但不是Word2Vec特有的技巧喲。 1. Hierarchical Softmax 1.1 哈夫曼樹 哈夫曼樹是一種帶權路徑長度最短的二叉樹，即最優二叉樹。 權重*步長 的和 = 帶權路徑長度 圖b即爲最優二叉樹（哈夫曼樹） 如何構建哈夫曼樹呢？如下圖的過程 每個節點都有唯一

>>阅读原文<<