神經網絡簡單理解（一）：梯度彌散

這裏C（w）爲最後的代價函數，它權值w的函數。每一層的加權輸入爲ZJ=W×aj-1+b。每一層的輸出爲aj，aj=φ(ZJ)，這裏φ是激活函數。 反向傳播更新的是每一層神經元連接的權重w，即求C（w）對每一層w 的偏導數。反向傳播首先求C對W4的偏導數，所以公式爲: 同理，由於W3只能通過加權輸入Z3在影響結果，所以公式爲： 可以看出在更新權值的時候，每向前傳播一層，就要乘以激活函數的導數φ’。當

>>阅读原文<<