Word2vec基礎之霍夫曼樹

        word2vec使用了CBOW與Skip-Gram來訓練模型與得到詞向量,但是並沒有使用傳統的DNN模型。最先優化使用的數據結構是用霍夫曼樹來代替隱藏層和輸出層的神經元,即霍夫曼樹的:          葉子節點:起到輸出層神經元的作用,葉子節點的個數即爲詞彙表的小大。          內部節點:起到隱藏層神經元的作用。 霍夫曼樹的建立過程如下: 輸入:權值爲(w1,w2,...
相關文章
相關標籤/搜索