word2vec原理(二) 基於Hierarchical Softmax的模型

1. 基於Hierarchical Softmax的模型概述 　　　　我們先回顧下傳統的神經網絡詞向量語言模型，裏面一般有三層，輸入層（詞向量），隱藏層和輸出層（softmax層）。裏面最大的問題在於從隱藏層到輸出的softmax層的計算量很大，因爲要計算所有詞的softmax概率，再去找概率最大的值。這個模型如下圖所示。其中VV是詞彙表的大小，   　　　　word2vec對這個模型做了改進，首

>>阅读原文<<