深度學習中的激活函數Sigmoid和ReLu激活函數和梯度消失問題。

1. Sigmoid激活函數：                Sigmoid激活函數的缺陷：當 x 取很大的值之後他們對應的 y 值區別不會很大，就會出現梯度消失的問題。因此現在一般都不使用Sigmoid函數，而是使用ReLu激活函數。 2. ReLu激活函數：         ReLu激活函數：當x爲負值之後y取0，x爲正數之後，y隨x的值得增大而增大，這樣就可以解決梯度消失問題。現在一般都是用

>>阅读原文<<