神經網絡中的梯度消失

什麼是梯度消失？ 神經元的權重w和偏置b是和激活函數的梯度成正比的，激活函數導數越大，則w，b調整越快，如果激活函數梯度很小，在反向傳播時，多個小於0的導數相乘，隨着神經網絡層數的加深，梯度方向傳播到淺層網絡時，基本無法引起全職的波動，也就是沒有將loss的信息傳遞到淺層網絡，這樣網絡就無法訓練學習了。這就是所謂的梯度消失。 以sigmoid激活函數爲例： sigmoid(x)=1/1+e^−x

>>阅读原文<<