爲什麼梯度消失在傳統RNN中相比於CNN更嚴重？

當神經網絡層數非常深時，神經網絡優化算法會面臨的另外一個難題就是長期依賴問題——由於變深的結構使模型喪失學習先前信息的能力，讓優化變得極其困難。 而循環神經網絡的設計初衷之一就是爲了能夠捕獲長距離輸入之間的依賴關係，深度經網絡中的梯度消失會讓使用BPTT算法學習到的循環神經網絡並不能成功捕獲到長距離的依賴關係。 爲什麼這個問題在RNN中更加凸顯呢？ 這是因爲循環審計寧網絡在很長的時間序列的各個時刻

>>阅读原文<<