Word2Vec-Tutorial-Part-2-Negative-Sampling

重點 詞組檢測 多輪操作,每一輪操作只處理2元詞組, 如果詞組出現的概率不低,而且相對構成詞組的每個詞的概率也不低,則可以當作一個詞組 訓練樣本下采樣 定義了一個基於詞頻的曲線,出現頻率低的樣本不參與下采樣, 出現頻率越高,被下采樣的概率越高 Negative sampling 原理上每個訓練樣本輸出是10000維的one-hot編碼, 只有一個是1,其他0, 可能會影響到所有輸出層權重(300

>>阅读原文<<