神經網絡反向傳播方法

一個神經網絡的符號及相關函數定義如下圖： 例如一個實際的神經網絡如下圖表示: 走一邊正向傳播如下圖 同理可以得到 最終得到的損失爲： 訓練目標是使得損失達到最小，這也就是反向傳播的來歷。反向傳播實際上用到的是梯度（沿梯度方向下降最快）下降法中的鏈式原理。 這時候我們針對W求偏導，然後得到下面的公式： 將上式中插入激活函數： 可以看出對於不同的激活函數求導結果是不一樣的（梯度消失梯度爆炸可以在這裏了

>>阅读原文<<