word2vect 原理2

轉載於（http://www.cnblogs.com/pinard/p/7243513.html） 1. 基於Hierarchical Softmax的模型概述 　　　　我們先回顧下傳統的神經網絡詞向量語言模型，裏面一般有三層，輸入層（詞向量），隱藏層和輸出層（softmax層）。裏面最大的問題在於從隱藏層到輸出的softmax層的計算量很大，因爲要計算所有詞的softmax概率，再去找概率最大的

>>阅读原文<<