激活函數

激活函數是用來解決線性不可分問題的一個方法，常用來svm以及神經網絡中。 常見的激活函數有sigmoid函數、tanh函數、softmax函數以及ReLU函數，上述方法都可以作爲隱層神經元的輸出。 1.sigmoid函數 導數爲： 圖像及導數圖像： 圖像結果在(0,1)之間，激活函數計算量大，反向傳播求誤差梯度時，會出現除法；並且在深層次網絡中容易產生梯度消失問題（當梯度小於1時，預測值與真實值之

>>阅读原文<<