深度學習之激活函數

1.0 sigmoid激活函數 函數表達式：f(x) = 1 / (1 + exp(-x)) 導數表達式：g(x) = f(x)*(1-f(x)) 函數圖像：web 特色： 1）反向傳播算法求解梯度時要進行鏈式求導，即各個偏導數相乘。由sigmoid導數圖像能夠看出，當偏導數取值在兩邊接近0時，連乘得結果會致使所得結果無限接近0，即形成梯度消失現象。 2）冪運算複雜，訓練時間長 3）輸出非0均值，

>>阅读原文<<