深度學習入門之PyTorch--廖星宇書中的反向傳播算法理論

反向傳播算法 前面我們介紹了三個模型，整個處理的基本流程都是定義模型，讀入數據，給出損失函數 f f ，通過梯度下降法更新參數。PyTorch 提供了非常簡單的自動求導幫助我們求解導數，對於比較簡單的模型，我們也能手動求出參數的梯度，但是對於非常複雜的模型，比如一個 100 層的網絡，我們如何能夠有效地手動求出這個梯度呢？這裏就需要引入反向傳播算法，自動求導本質是就是一個反向傳播算法。 反向傳播算

>>阅读原文<<