對於Glove 算法的理解

Glove算法是一種基於全局詞頻統計的迴歸算法。它不是基於神經網絡的，而是基於最小二乘原理的迴歸方法。 它的算法的核心就是損失函數： 通過這個函數可以計算出詞向量。推導的過程不是嚴格基於數學的。我嘗試反向推導一下，看看能否讓大家更容易理解。正規的推導除了看原文之外，可以參考NLP學習（1）—Glove模型—詞向量模型 上面的損失函數是基於i，j統計的，因此可以得出Glove的算法複雜度是N*N。

>>阅读原文<<