思考ReLU函數

激活函數的作用？ 是爲了增加神經網絡模型的非線性。沒有激活函數的每層都相當於矩陣相乘。就算疊加了若干層以後，無非還是個矩陣相乘罷了。如果沒有非線性的話，根本算不上什麼神經網絡。 爲什麼ReLU效果好？ 爲什麼ReLU好過sigmoid呢？首先看一下sigmoid和ReLU的曲線： 然後可以得到sigmoid的導數： 以及ReLU的導數： 結論就是sigmoid的導數只有在0附近的時候有比較好的激活

>>阅读原文<<