深入理解RNN梯度消失

1.關於理解RNN梯度消失 內容轉載於：知乎-RNN梯度消失和爆炸的原因. 2.梯度消失，權值就無法更新了嗎？ No.梯度消失不意味着沒有梯度 我們先看任意時刻 t 對權重 w x w_x wx​求導公式： 請注意紅圈這是一個求和符號，即使 t 是一個很大的數，但是第公式第t 項基本不受影響，仍然是一個比較大的數值。所以即使層數深，梯度也不小，網絡參數仍然能夠更新。 再聯想RNN參數共享機制，即使

>>阅读原文<<