深度學習中的激活函數Sigmoid和ReLu激活函數和梯度消失問題。

1. Sigmoid激活函數：網絡                Sigmoid激活函數的缺陷：當 x 取很大的值以後他們對應的 y 值區別不會很大，就會出現梯度消失的問題。所以如今通常都不使用Sigmoid函數，而是使用ReLu激活函數。函數 2. ReLu激活函數：學習         ReLu激活函數：當x爲負值以後y取0，x爲正數以後，y隨x的值得增大而增大，這樣就能夠解決梯度消失問題。如

>>阅读原文<<