李沐第十三課--時間反向傳播

反向傳播是計算深度學習模型參數梯度的方法。總的來說，反向傳播中會依據微積分中的鏈式法則，按照輸出層、靠近輸出層的隱含層、最近輸入層的隱含層和輸入層的次序，依次計算並存儲模型損失函數有關模型各層的中間變量和參數的梯度 反向傳播對於各層中變量和梯度的計算可能會依賴各層變量和參數的當前值 正向傳播：對深度學習模型按照輸入層、最近輸入層的隱含層、靠近輸出層的隱含層和輸出層的次序，依次計算並存儲模型的中間變

>>阅读原文<<