斯坦福CS224n NLP課程【十三】——卷積神經網絡

從RNN到CNN 只能捕獲上下文左側的短語，RNN無法利用未來的特徵預測當前單詞，就算是bi-RNN，也不過是雙向重蹈覆轍而已。經常把過多注意力放到最後一個單詞上。 比如，如果只想得到my birth的向量，RNN就無能爲力了，因爲它捕捉的是從左到右的「上文」。與此對應，softmax也是加在最後一個單詞上的 CNN的解決思路說來也很簡單粗暴，那就計算相鄰的n-gram，不管它到底是不是真正的短語

>>阅读原文<<