梯度消失和梯度爆炸

一、RNN梯度更新過程 對於循環神經網絡，在訓練語言模型或序列標註任務中，每一個隱層輸出與實際輸出都對於產生一個損失函數 J ( θ ) \displaystyle J( \theta ) J(θ)。如 J 3 ( θ ) \displaystyle J^{3}( \theta ) J3(θ)：loss as time 3表示在第3時刻的損失。這裏採用基於時間的反向傳播算法BPTT(Back Pr

>>阅读原文<<