三種激活函數以及它們的優缺點

三種激活函數以及它們的優缺點 sigmoidsigmoidsigmoid 導數：g′(z)=a(1−a)g^{'}(z)=a(1-a)g′(z)=a(1−a) 最基本的激活函數，logistics regression以及講解深度神經網絡的時候作爲簡單例子，但實際上很少使用。 原因如下： 當z非常大或者非常小的時候，a的斜率變得越來越接近0，這會使得梯度下降算法變得極爲緩慢。 但sigmoidsi

>>阅读原文<<