神經網絡中常用的激活函數

爲什麼要用激活函數： 引入非線性。 1. SIGMOD Sigmoid導數： 缺點： 容易發生梯度消失。當z特別大或者特別小的時候，從圖像可以看出，導數的梯度或者函數的斜率會特別小，最後會接近0，梯度下降的速度降低。如果我們初始化神經網絡的權值爲 [ 0 , 1 ]之間的隨機值，由反向傳播算法的數學推導可知，梯度從後向前傳播時，每傳遞一層梯度值都會減小爲原來的0.25倍，如果神經網絡隱層特別多，那

>>阅读原文<<