基於Hierarchical Softmax的CBOW模型

基於Hierarchical Softmax的CBOW模型 構造 P(w | context(w)) 哈夫曼樹(Huffman Tree) 又稱爲帶權路徑長度最短二叉樹，或最優二叉樹。如A:15，B:10，C:3，D:5，下圖所示爲哈夫曼樹： 帶權路徑長度WPL=33+53+102+151=59。 在CBOW中，輸出層爲一棵根據詞頻構造的哈夫曼樹。 其實在word2vec之前，即有類似的三層神經網

>>阅读原文<<