NLP ——Hierarchical Softmax

NLP ——Hierarchical Softmax word2vec爲什麼 不用現成的DNN模型，要繼續優化出新方法呢？ 問題：從隱藏層到輸出的softmax層的計算量很大，因爲要計算所有詞的softmax概率，再去找概率最大的值。 word2vec對這個模型做了改進： 首先，對於從輸入層到隱藏層的映射，沒有采取神經網絡的線性變換加激活函數的方法，而是採用簡單的對所有輸入詞向量求和並取平均的方法

>>阅读原文<<