機器學習-補充03 神經網絡之**函數(Activation Function)

**函數(Activation Function) 1.爲什麼需要**函數？ **函數通常有如下一些性質： 非線性： 當**函數是線性的時候，一個兩層的神經網絡就可以逼近基本上所有的函數了。但是，如果**函數是恆等**函數的時候（即f(x)=x），就不滿足這個性質了，而且如果MLP使用的是恆等**函數，那麼其實整個網絡跟單層神經網絡是等價的。 可微性： 當優化方法是基於梯度的時候，這個性質是必須的

>>阅读原文<<