LSTM裏梯度迴流的理解

在寫cs231n assignment3時，LSTM的backward中有這樣的代碼： 之因此用+=是由於原代碼中的dh只提供了根據loss function求導提供的導數，但不包括由prev_h生成next_h過程的導數（這部分導數只能從尾到頭求出來）。這也是for循環用 for i in reversed(range(T)): 的緣由，即從最後向前依次求，知道dh0求出爲止。web

>>阅读原文<<