深度學習--遞歸神經網絡RNN和LSTM

RNN：遞歸神經網絡 RNN在自然語言處理方面較好。 通常情況下只需要最後一個結果。 遞歸神經網絡的反向傳播： 只要有路線，就需要把梯度傳導下去。 存在缺點： 1、當輸入較大時，網絡結構比較大，反向梯度傳播計算會很慢。 2、當梯度計算爲0時，參數就無法傳遞了，也就是會出現梯度消失。 3、較前的輸入可能信息價值不高，可能對訓練造成影響，需要預處理 LSTM 長短記憶網絡 LSTM會去遺忘一些數據 例

>>阅读原文<<