常用激活函數

(1)sigmoid函數 Sigmoid函數飽和使梯度消失。當神經元的激活在接近0或1處時會飽和，在這些區域梯度幾乎爲0，這就會導致梯度消失，幾乎就有沒有信號通過神經傳回上一層。 Sigmoid函數的輸出不是零中心的。因爲如果輸入神經元的數據總是正數，那麼關於w的梯度在反向傳播的過程中，將會要麼全部是正數，要麼全部是負數，這將會導致梯度下降權重更新時出現z字型的下降。 (2)Tanh函數 Tanh

>>阅读原文<<