RNN梯度消失和梯度爆炸的原因

  RNN的提出是爲了解決網絡無法利用歷史信息的問題，但由於RNN具有梯度消失和梯度爆炸的問題，導致RNN不能存儲長期記憶。 網絡結構   首先來看RNN的結構，如下圖1所示：   上圖的結構很好理解， x t x_{t} xt​爲網絡輸入， A A A爲隱藏層， h t h_{t} ht​爲網絡輸出。既然我們想利用之前的歷史信息，那我們就將網絡在上一時刻的輸出保存下來，作爲當前時刻的輸入，也就是

>>阅读原文<<