激活函數比較

激活函數（ Activation Function ）能夠把輸入的特徵保留並映射下來。 Sigmoid Sigmoid 非線性函數將輸入映射到 (0,1) 之間。它的數學公式爲： σ(x)=11+e−x 。 歷史上， sigmoid 函數曾非常常用，然而現在它已經不太受歡迎，實際很少使用了，因爲它主要有兩個缺點： 函數飽和使梯度消失 sigmoid 神經元在值爲 0 或 1 的時候接近飽和，這些區

>>阅读原文<<