NLP《詞彙表示方法(四)負採樣》

一:負採樣 在CBOW和Skip-Gram模型中,最後輸出的都是詞彙的one-hot向量,假如我們的詞彙表的數量是10000,嵌入空間的維度是300,再假設此時是以Skip-Gram模型只預測context內的單獨一個word的模型爲例,那麼從隱藏層到輸出層的參數數量是300 x 10000的。 每次的輸出之前都要做softmax操作,對於如此龐大的詞彙數量,計算softmax是很耗費時間的,不僅
相關文章
相關標籤/搜索