BP神經網絡後向傳播公式推導

關於梯度彌散問題： 由上面的推導過程大概可以看出在求每一層的權重更新值時，都需要求激活函數的導數f'(x),若激活函數爲sigmoid函數，因爲sigmoid的函數值本來就在[0,1]之間，其導數f'(x)=f(x)(1-f(x)),將會更小，因此，當網絡很深的時候使用sigmoid函數作爲激活函數，在進行誤差後向傳播的時候出現梯度彌散問題。

>>阅读原文<<