NLP - word2vec原理(一) CBOW與Skip-Gram模型基礎

1. CBOW與Skip-Gram用於神經網絡語言模型  在word2vec出現之前，已經有用神經網絡DNN來用訓練詞向量進而處理詞與詞之間的關係了。採用的方法一般是一個三層的神經網絡結構（當然也可以多層），分爲輸入層，隱藏層和輸出層(softmax層)。  這個模型是如何定義數據的輸入和輸出呢？一般分爲CBOW(Continuous Bag-of-Words 與Skip-Gram兩種模型。  C

>>阅读原文<<