RNN的反向傳播

RNN模型示例： ht=σ（W(hh)ht-1+W(hx)xt） y^=softmax(W(S)ht) ​ RNN常用Cross Entropy error作爲損失函數，在某個時間步t的損失函數（j遍歷維度） 在大小爲T的corpus上的誤差： 反向傳播圖示 爲了計算RNN誤差dE/dw，需要把每一個時間步的誤差（dEt/dw）進行加和，誤差對參數求梯度的公式如下： 注意dht/dhk是指ht對所

>>阅读原文<<