一步步理解並實現BP神經網絡（三）——反向傳播

神經網絡的反向傳播算法，實際上是基於數學中的鏈式求導法則，因爲在神經網絡中尋找的最優化參數爲權重 ，在利用迭代法中的梯度下降算法去對目標函數進行優化的時候，需要獲取關於 的偏導數，然後去進行梯度下降算法，所以反向傳播就是對 進行求導的過程，因其順序和正向傳播的過程是相反的，所以叫做反向傳播。 深層次的神經網絡的反向傳播過程表示爲： 反向傳播推導：對於反向傳播利用計算圖的形式進行推導，也就是數學中的

>>阅读原文<<