幾種激活函數比較

幾種激活函數比較 爲什麼用激活函數 如果不用激勵函數，每一層輸出都是上層輸入的線性函數，無論神經網絡有多少層，輸出都是輸入的線性組合。 如果使用的話，激活函數給神經元引入了非線性因素，使得神經網絡可以任意逼近任何非線性函數，這樣神經網絡就可以應用到衆多的非線性模型中。 激活函數比較 a=sigmoid(z) 優點：輸出爲（0，1） 缺點：z足夠大或者足夠小時導數趨於零，使得梯度下降太慢；函數不是以

>>阅读原文<<