Word2vec 理解

1.有DNN做的word2vec,取隱藏層到softmax層的權重爲詞向量,softmax層的葉子節點數爲詞彙表大小      2-3的最開始的詞向量是隨機初始化的   2.哈夫曼樹:左邊走 sigmoid(當前節點的詞向量*當前節點的參數) 右邊走 1-sigmoid(當前節點的詞向量*當前節點的參數),葉子節點爲詞彙表所有詞,然後求根節點到葉子節點的極大似然估計,在Skip gram中,詞向量
相關文章
相關標籤/搜索