古董word2vec

word representation從離散空間開始，one-hot，bag-of-words（將各詞的one-hot詞向量加和表示句子），TF-IDF（解決了詞頻高不一定是詞重要，「的」 「了」 「要」，這些詞很常見，但不是重要，另外詞的順序沒有考慮），N-gram（按句子的順序，分別取相鄰N=1個詞，N=2個詞。。。建立索引） 離散表示的問題：1無法衡量詞向量之間的關係，2詞表維度隨着語料庫增

>>阅读原文<<