CS224n(winter 2019)筆記——Lecture2

接上節課沒講完的word2vec word2vec(續) 訓練策略: SGD Word2vec使用SGD訓練存在的問題: 每次只有窗口內的詞會參與訓練,梯度矩陣太稀疏,訓練效率低。 優化方法: 1.negative sampling 轉化爲二分類問題 2.hierarchical softmax Glove 公式推導參考這裏 詞向量評估 詞向量存在的問題 多義詞
相關文章
相關標籤/搜索