靜態詞嵌入

記錄一下學習最近學習的靜態詞嵌入。 一、one-hot encoding 1.每個詞向量長度等於詞庫大小 2.除了詞對應的位置爲1，其他所有位置均爲0 3.非常稀疏（維度災難） 4.無法表示語義 5.無法計算詞之間的相似度 二、主題模型 三、word2vec（局部方法論） 這篇有詳細的數學原理 本質上就是nnlm，詞向量只是訓練的副產物。輸入是one-hot encoding，經過兩層全連接和一層

>>阅读原文<<