word embedding初探

one-hot表達（獨熱編碼） 假設世界上總共有100個單詞，我們就可以用一個維度爲100的向量來表示單詞。這個向量中只有一個1，其他都爲0. 特點：高維，稀疏，正交 高維：加入我們有1000個呢，我們需要使用一個維度爲1000的向量，維度太高。 稀疏：每個向量都是稀疏向量，只有一個位置有1，其他全部爲0. 正交：每個向量都正交，向量相乘爲0. 當然這種表示方法也存在一個重要的問題就是「詞彙鴻溝」

>>阅读原文<<