關於Backpropagation在DeepLearning的一點思考

Backpropagation介紹 深度學習中，常見的CNN、RNN神經網絡中，參數估計通常在經過樣本批處理時，使用SGD算法更新權重W和偏置b。SGD會根據樣本Loss將誤差後向傳播，根據chain rule鏈式法則計算每一層的誤差，從而計算總誤差關於W、b的導數，從而更新W或者b。 幾個定義 神經元：這裏考慮誤差傳播時，通常意義下的隱藏層、輸出層、輸入層點 神經元輸入：u = 前一層輸出x *

>>阅读原文<<