RNN中BPTT的推導和可能的問題

最近開始啃LSTM，發現BPTT這塊還是不是很清晰，結合RNN，把這塊整理整理 RNN 前饋神經網絡（feedforward neural networks）如下圖所示（這塊內容可見我的博客神經網絡BP算法）： 假設我們的訓練集只有一個實例（ x(1),y(1) ），我們的神經網絡是一個三層的神經網絡，即隱藏層只有1層。 以中間層神經元 Sj ，(j=1,2)爲例，它只模仿了生物神經元所具有的三個

>>阅读原文<<