NLP的一些大雜燴

1、訓練詞向量的時候 輸入A 預測A的下一個詞是什麼，如果詞表特別大的話，達到5000的話，那麼相當於一個5萬分類的任務，所以可以將其改變輸入AB兩個詞，預測B是A詞下一個詞的概率。因爲語料中所有的上下文中的輸出標籤都是1，所以要自己構造target爲0 的輸入樣例，其實，這就是負採樣的原理。word2vector是無監督的，所以也不用自己打標籤times 2、LSTM 讀數據---每個詞轉換成I

>>阅读原文<<