神經網絡常用激活函數總結

神經網絡中如果不加入激活函數，其一定程度可以看成線性表達，最後的表達能力不好，如果加入一些非線性的激活函數，整個網絡中就引入了非線性部分，增加了網絡的表達能力。目前比較流行的激活函數主要分爲以下7種： 1.sigmoid 2.tanh 3.ReLu 4.Leaky ReLu 5.PReLu 6.RReLu 7 Maxout 8 SELU 總結 是ELU的改進版本， 參考文獻： [ReLu]:Rec

>>阅读原文<<