Relu函數，sigmoid函數，leaky Relu

Relu函數： y=max（0，x） 藍色爲Relu函數，紅色曲線爲Relu函數的導數。 優點： 1.在正區間內不會發生梯度消失問題， 2. 函數比較簡單，求導計算複雜度較低。 3. 梯度能維持在不錯的區間，也就是收斂速度快。 缺點： 1.負區間梯度一直爲0，導致部分神經元不會被激活，相應的參數一直不被更新 2.非zero-centered，收斂速度一般   sigmoid函數定義： 從函數可以看

>>阅读原文<<