深度學習之激活函數

1.0 sigmoid激活函數 函數表達式：f(x) = 1 / (1 + exp(-x)) 導數表達式：g(x) = f(x)*(1-f(x)) 函數圖像： 特點： 1）反向傳播算法求解梯度時要進行鏈式求導，即各個偏導數相乘。由sigmoid導數圖像可以看出，當偏導數取值在兩邊接近0時，連乘得結果會導致所得結果無限接近0，即造成梯度消失現象。 2）冪運算複雜，訓練時間長 3）輸出非0均值，收斂慢

>>阅读原文<<