deep learning 四種激活函數比較

sigmoid 又叫S型函數， 是最長用的激活函數， 特點是在定義域內均可導， 這樣可以避免出現學習停止現象， 因爲一直有梯度， 但也容易產生，在大批量學習時， 後期學習太慢， 因爲如果函數輸入值越大，梯度越小。在反向傳播時， 導致越來越小。最終梯度消失。 tanh 函數， 也是常見的激活函數，與sigmoid相似， 好比tanh拉長了就變成了sigmoid， 輸出爲-1， 1。輸出均值爲0。 爲

>>阅读原文<<