循環神經網絡的訓練（2）

權重梯度的計算 現在，我們終於來到了BPTT算法的最後一步：計算每個權重的梯度。 首先，我們計算誤差函數E對權重矩陣W的梯度∂E∂W。 上圖展示了我們到目前爲止，在前兩步中已經計算得到的量，包括每個時刻t 循環層的輸出值st，以及誤差項δt。 回憶一下我們在文章零基礎入門深度學習(3) - 神經網絡和反向傳播算法介紹的全連接網絡的權重梯度計算算法：只要知道了任意一個時刻的誤差項δt，以及上一個時刻

>>阅读原文<<