深度學習---之幾種激活函數的區別

2.3 幾種常見的激活函數   Sigmoid. Sigmoid 非線性激活函數的形式是σ(x)=1/(1+e−x)，其圖形如上圖左所示。之前我們說過，sigmoid函數輸入一個實值的數，然後將其壓縮到0~1的範圍內。特別地，大的負數被映射成0，大的正數被映射成1。sigmoid function在歷史上流行過一段時間因爲它能夠很好的表達「激活」的意思，未激活就是0，完全飽和的激活則是1。而現在s

>>阅读原文<<