CS224N筆記——高級詞向量表示

目錄 複習 近似：skip-gram模型和負採樣 其他方法 綜合兩者優勢：GloVe 評測詞向量 複習 word2vec主要思想 遍歷整個語料庫中的每個單詞 預測每個單詞（窗口的中心詞）的上下文詞彙 在每個窗口進行隨機梯度下降法(SGD) 詞向量的隨機梯度 在每個窗口，只有最多2m+1個單詞，非常稀疏。 我們也可以只更新實際出現過的詞向量。 解決方案：每次更新只更新W矩陣中的少數列，或者爲每個詞語

>>阅读原文<<