自然語言處理（四）詞向量的所有概念

word2vec是一種將word轉爲向量的方法，其包含兩種算法，分別是skip-gram和CBOW，它們的最大區別是skip-gram是通過中心詞去預測中心詞周圍的詞，而CBOW是通過周圍的詞去預測中心詞。 one-hot representation以字典建立向量，詞所處的位置用1表示，其餘爲0。此種方式詞缺點是向量太稀疏造成內存消耗大，且無法表示詞與詞之間的語義順序關係。 把稀疏詞向量稠密化，

>>阅读原文<<