通俗理解激活函數作用和常見激活函數總結：sigmoid、tanh、relu、Leaky-relu、P-relu、R-Relu、elu

激活函數的作用 可以想象，如果沒有激活函數，下一層的輸入總是上一層的輸出，無論多少層網絡，都是線性函數，線性函數的逼近能力是非常有限的，無法擬合現實中這些沒有規律的非線性複雜函數。舉個例子： 個人理解爲把有規律線性函數用激活函數扭曲，層數越深扭曲次數越多，經過深層網絡的扭曲之後，鬼知道是個什麼函數，剩下的交給反向傳播自己訓練去把。 各種激活函數 1.Sigmoid激活函數： 缺點：1.在深度神經網

>>阅读原文<<