神經元建模 激活函數

      1、sigmoid函數 缺點：當輸入大於或者小於某一個值以後，函數的導數爲0，也就是說函數的梯度爲0。梯度爲0的話，就沒法更新網絡參數了，網絡永遠沒法收斂，導致梯度消失的現象。所以一般不使用sigmoid函數作爲激活函數。   2、relu函數 優點：可以解決梯度消失的問題，當輸入x大於0的時候，函數導數爲常數1。          函數梯度的求解非常簡單。          大部分神

>>阅读原文<<