理解BPTT及RNN的梯度消失與梯度爆炸

前言 上篇文章RNN詳解已經介紹了RNN的結構和前向傳播的計算公式，這篇文章講一下RNN的反向傳播算法BPTT，及RNN梯度消失和梯度爆炸的原因。 BPTT RNN的反向傳播，也稱爲基於時間的反向傳播算法BPTT(back propagation through time)。對所有參數求損失函數的偏導，並不斷調整這些參數使得損失函數變得儘可能小。 先貼出RNN的結構圖以供觀賞，下面講的都是圖中的單

>>阅读原文<<