激活函數 -- 機器學習

激活函數是用來加入非線性因素的，解決線性模型所不能解決的問題。可以參考博文：https://www.cnblogs.com/silence-tommy/p/7113405.html 一般激活函數有如下一些性質： 非線性： 當激活函數是線性的，一個兩層的神經網絡就可以基本上逼近所有的函數。但如果激活函數是恆等激活函數的時候，即f(x)=x，就不滿足這個性質，而且如果MLP使用的是恆等激活函數，那麼其

>>阅读原文<<