relu與sigmod的比較

relu的優勢： 第一，防止梯度彌散，sigmod函數只有在0附近有較好的激活性，接近正負飽和區時，變換太緩慢，導數趨於0，造成梯度彌散，而relu函數在大於0的部分梯度爲常數,所以不會產生梯度彌散現象； 第二，稀疏性，Relu會使一部分神經元的輸出爲0，這樣就造成了網絡的稀疏性，緩解了過擬合問題的發生，relu函數在負半區的導數爲0 ,所以一旦神經元激活值進入負半區,那麼梯度就會爲0,也就是說這

>>阅读原文<<