glove 學習筆記

話不多說，入正題。 動機： 現有的詞向量模型， 1 局部上下文建模的方法 例如word2vector 用通俗的話來講就是，如果兩個詞在訓練語料中出現的上下文比較類似，比如「食堂」和「餐廳」，都在「我」，「去」，「吃飯」這種上下文上出現了許多次，那麼他倆的詞向量就比較相似。 2 矩陣分解的方法，例如LSA 將文檔和單詞的共現矩陣，也就是行是文檔，列是單詞，第i行第j列，表示文檔i中是否包含單詞j（具

>>阅读原文<<