Word Embedding

個人理解embedding是爲了降維 One hot編碼有很多無意義的值 我們知道訓練神經網絡就是要學習每個連接線的權重。如果只看第一層的權重，下面的情況需要確定43個連接線的關係，因爲每個維度都彼此獨立，girl的數據不會對其他單詞的訓練產生任何幫助，訓練所需要的數據量，基本就固定在那裏了。 我們這裏手動的尋找這四個單詞之間的關係 [公式] 。可以用兩個節點去表示四個單詞。每個節點取不同值時的意

>>阅读原文<<