詞向量（從one-hot到word2vec）

詞向量的意思就是經過一個數字組成的向量來表示一個詞，這個向量的構成有不少種方法，如one-hot編碼、基於共現矩陣的方式、word2vec、動態詞向量ELMo等。web 1、one-hot向量 優點：簡單易懂、稀疏存儲網絡 不足：維度災難、詞彙鴻溝（向量之間都是孤立的）svg 2、基於共現矩陣的方式 上述矩陣是一個n*n的對稱矩陣X，矩陣維數隨着詞典數量n的增大而增大，可使用奇異值分解SVD將矩陣

>>阅读原文<<