LSTM學習筆記

一.rnn結構的BPTT學習算法存在的問題 先看一下比較典型的BPTT一個展開的結構,如下圖,這裏只考慮了部分圖,因爲其他部分不是這裏要討論的內容。 對於t時刻的誤差信號計算如下: 這樣權值的更新方式如下: 上面的公式在BPTT中是非常常見的了,那麼如果這個誤差信號一直往過去傳呢,假設任意兩個節點u, v他們的關係是下面這樣的: 那麼誤差傳遞信號的關係可以寫成如下的遞歸式: n表示圖中一層神經元的
相關文章
相關標籤/搜索