激活函數(ReLU, Swish, Maxout)

神經網絡中使用激活函數來加入非線性因素，提高模型的表達能力。 ReLU(Rectified Linear Unit,修正線性單元)  softplus函數與ReLU函數接近,但比較平滑, 同ReLU一樣是單邊抑制,有寬廣的接受域(0,+inf), 但是由於指數運算,對數運算計算量大的原因,而不太被人使用.並且從一些人的使用經驗來看(Glorot et al.(2011a)),效果也並不比ReLU好

>>阅读原文<<