非線性激活函數的公式、導數和優缺點

如下主要介紹4種：Sigmoid, Tanh, Relu, Leaky Relu 各種非線性激活函數的優缺點： Sigmoid： 現在吳恩達幾乎從來不用sigmoid激活函數了，但是吳恩達會用sigmoid的一個例外場合是進行二元分類時。 缺點：     1、Sigmoid容易飽和，並且當輸入非常大或者非常小的時候，神經元的梯度就接近於0了，從圖中可以看出梯度的趨勢。這就使得我們在反向傳播算法中反

>>阅读原文<<