Stanford 深度自然語言處理 學習筆記（三）

歸一化因子的計算代價很大（softmax的分母部分）。Negative Sampling用sigmoid表概率。 主要的思路：對一對實際的詞對（一箇中心詞及一個窗口內的其他詞）和一些隨機的詞對（一箇中心詞及一個隨機詞）訓練二元邏輯迴歸模型（參見 這篇文章）   保證一些出現比較少的詞可以被儘可能多的抽樣      （參見寒小陽博客） 這裏的  表示「錯誤的」或者「負面的」語料庫。我們可以從詞庫中隨

>>阅读原文<<