Relu激活函數及其變種

神經網絡中使用激活函數來加入非線性因素，提高模型的抽象表達能力。ReLU(Rectified Linear Unit,修正線性單元) ReLU公式近似推導:: 下面解釋上述公式中的softplus,Noisy ReLU. softplus函數與ReLU函數接近,但比較平滑, 同ReLU一樣是單邊抑制,有寬廣的接受域(0,+inf), 但是由於指數運算,對數運算計算量大的原因,而不太被人使用.並且從

>>阅读原文<<