動手學PyTorch | (33) 通過時間反向傳播

在前⾯兩節中，如果不裁剪梯度，模型將⽆法正常訓練。爲了深刻理解這一現象，本節將介紹循環神經⽹絡中梯度的計算和存儲⽅法，即通過時間反向傳播(back-propagation through time)。 我們在(正向傳播、反向傳播和計算圖)中介紹了神經⽹絡中梯度計算與存儲的⼀般思路，並強調正向傳播和反向傳播相互依賴。正向傳播在循環神經⽹絡中⽐較直觀，而通過時間反向傳播其實是反向傳播在循環神經網絡中的

>>阅读原文<<