動手學PyTorch | (33) 通過時間反向傳播

在前⾯兩節中,如果不裁剪梯度,模型將⽆法正常訓練。爲了深刻理解這一現象,本節將介紹循環神經⽹絡中梯度的計算和存儲⽅法,即通過時間反向傳播(back-propagation through time)。 我們在(正向傳播、反向傳播和計算圖)中介紹了神經⽹絡中梯度計算與存儲的⼀般思路,並強調正向傳播和反向傳播相互依賴。正向傳播在循環神經⽹絡中⽐較直觀,而通過時間反向傳播其實是反向傳播在循環神經網絡中的
相關文章
相關標籤/搜索