GloVe: Global Vectors for Word Representation必記

關於算法原理參考： 下面是 Relation with skip gram skip gram: 接下來在整個corPus 中訓練： 但在vast corpus 難以求所有的 Q i , j Q_{i,j} Qi,j​，採用近似 但對於兩分佈中的交叉熵損失是有弊端的：即低概率高權值 並且上式中的 Q i , j Q_{i,j} Qi,j​還是難以normalized,因此 不歸一化帶來的問題是 Q

>>阅读原文<<