【深度學習技術】卷積神經網絡經常使用激活函數總結

本文記錄了神經網絡中激活函數的學習過程，歡迎學習交流。web 神經網絡中若是不加入激活函數，其必定程度能夠當作線性表達，最後的表達能力很差，若是加入一些非線性的激活函數，整個網絡中就引入了非線性部分，增長了網絡的表達能力。目前比較流行的激活函數主要分爲如下7種：網絡 1.sigmoid 2.tanh 3.ReLu 4.Leaky ReLu 5.PReLu 6.RReLu 7 Maxout 8 SE

>>阅读原文<<