機器學習常見的激活函數

  Sigmoid. Sigmoid 非線性激活函數的形式是，其圖形如上圖左所示。之前我們說過，sigmoid函數輸入一個實值的數，然後將其壓縮到0~1的範圍內。特別地，大的負數被映射成0，大的正數被映射成1。sigmoid function在歷史上流行過一段時間因爲它能夠很好的表達「激活」的意思，未激活就是0，完全飽和的激活則是1。而現在sigmoid已經不怎麼常用了，主要是因爲它有兩個缺點:

>>阅读原文<<