梯度反向傳播求解示例

深度學習中進行網絡的訓練的時候，常常採用梯度反向傳遞的方式對網絡中的參數進行調整，那麼具體是怎麼實現的呢？我用一個簡單的例子進行推導求解。 如下圖，這裏採用的是兩層網絡，損失函數採用的是平方差損失函數，激勵函數採用的是sigmoid函數，sigmoid函數的導數在我的上篇文章中有寫，這裏直接用，不再贅述。         通過上面的一系列推導就可以看出，反向傳播網絡的工作過程是首先進行信息的前饋，

>>阅读原文<<