NLP《詞彙表示方法（四）負採樣》

一：負採樣 在CBOW和Skip-Gram模型中，最後輸出的都是詞彙的one-hot向量，假如我們的詞彙表的數量是10000，嵌入空間的維度是300，再假設此時是以Skip-Gram模型只預測context內的單獨一個word的模型爲例，那麼從隱藏層到輸出層的參數數量是300 x 10000的。 每次的輸出之前都要做softmax操作，對於如此龐大的詞彙數量，計算softmax是很耗費時間的，不僅

>>阅读原文<<