循環神經網絡（RNN）反向傳播算法（BPTT）

循環神經網絡的反向傳播算法其實只是BP算法的一個簡單變體而已。 首先我們先看看循環神經網絡的前向傳播算法： 需要注意的是，該RNN中前一時刻到當前時刻只有一個權重矩陣，該權重矩陣與時間並沒有什麼關係。整個前向傳播算法與BP網絡的前向傳播算法的差別是多了一個前一時刻隱藏層的信息而已。在我們這邊的前向傳播算法可能與大家平時看到的會有點出入，因爲這個前向傳播算法將傳播過程中的各個階段都拆分開來表示。在進

>>阅读原文<<