學習詞嵌入

使用每個單詞的嵌入矩陣E乘one-hot向量得到該單詞的嵌入向量（維度與特徵數量相同）。 把這些嵌入向量放入神經網絡，然後通過softmax分類器，它會嘗試在字典範圍內預測輸出單詞。 如果設置窗口大小，即只用固定數量的單詞來預測輸出單詞，可以增強網絡對於不同長短句子的適應性。 使用固定長度的歷史窗口可以處理任意長度的句子，因爲輸入的維度總是確定的。 所有單詞用的是同一個嵌入矩陣。 研究者發現，如果

>>阅读原文<<