word2vec原理超詳解

1.回顧one-hot 表示的詞向量 主要參考句子的向量表示，可以看下面這張圖，就是用 One-hot 表示的單詞或句子向量 這樣表示有什麼缺點？？ 這是一種稀疏表示（通常詞庫很大，0 的個數也特別多） 無法表示單詞之間的相似性，用餘弦相似度計算結果都爲0 表達容量差 怎麼理解表達容量差呢？ 我們先假設詞向量的維度只有8維，如果用One-hot表示，那我們最多隻能表示 8 種不同的單詞，因爲 1

>>阅读原文<<