浙大機器學習課程-13-深度學習-卷積神經網絡ALexNet

Relu函數：如果神經元個數設置得非常多，誤差向前傳的時候，或者說每一個神經元都有一個激活值的話，用sigmoid和tanh是不好的，Relu函數在大於0時取原來的值，小於0時取0，導致的結果是每一層裏面小於0的地方全部變成0了，這樣，每一層裏面，每一次運行的時候，激活的神經元個數大致是一半左右（假定大於0和小於0的概率差不多）對於某一層神經元有很多層的情況，每一次值訓練一半的數據，可以相對有效地

>>阅读原文<<