後向傳播的簡單推導過程

對於如下簡單的神經網絡，其輸入是i1，i2，輸出是o1,o2，w，b參數如下所示： 暫時不考慮具體數值，在bp過程中，我們會對每個參數做梯度下降，這裏考慮最簡單的梯度下降方式   假設以均方誤差作爲損失函數：   這裏w5,w6,w7,w8類似，過程如下： 以w5爲例，對於梯度下降過程： 這裏需要求 而η是學習率。   對於 根據鏈式求導法則： 第一部分是loss function對pred_y的

>>阅读原文<<