深度學習總結(二)——激活函數的介紹

1. ReLU函數 用ReLU代替了傳統的Tanh或者Logistic。 優點： ReLU本質上是分段線性模型，前向計算非常簡單，無需指數之類操作； ReLU的偏導也很簡單，反向傳播梯度，無需指數或者除法之類操作；ReLU不容易發生梯度發散問題，Tanh和Logistic激活函數在兩端的時候導數容易趨近於零，多級連乘後梯度更加約等於0； ReLU關閉了左邊，從而會使得很多的隱層輸出爲0，即網絡變得

>>阅读原文<<