人工神經網絡之激活函數 -RELU函數

一句話概括：不用simgoid和tanh作爲激活函數，而用ReLU作爲激活函數的原因是：加速收斂。 因爲sigmoid和tanh都是飽和(saturating)的。何爲飽和？個人理解是把這兩者的函數曲線和導數曲線plot出來就知道了：他們的導數都是倒過來的碗狀，也就是，越接近目標，對應的導數越小。而ReLu的導數對於大於0的部分恆爲1。於是ReLU確實可以在BP的時候能夠將梯度很好地傳到較前面的網

>>阅读原文<<