Relu淺談

relu主要的作用是： 1，防止梯度彌散 2，稀疏性 3，加快計算 首先我們看下sigmoid和relu的曲線 然後可以得到sigmoid的導數 以及relu的導數 結論就是sigmoid的導數只有在0附近的時候有比較好的激活性，在正負飽和區的梯度都接近於0，所以這會造成梯度彌散，而relu函數在大於0的部分梯度爲常數，所以不會產生梯度彌散現象。第二，relu函數在負半區的導數爲0 ，所以一旦神經

>>阅读原文<<