機器學習-補充03 神經網絡之**函數(Activation Function)

**函數(Activation Function) 1.爲什麼需要**函數? **函數通常有如下一些性質: 非線性: 當**函數是線性的時候,一個兩層的神經網絡就可以逼近基本上所有的函數了。但是,如果**函數是恆等**函數的時候(即f(x)=x),就不滿足這個性質了,而且如果MLP使用的是恆等**函數,那麼其實整個網絡跟單層神經網絡是等價的。 可微性: 當優化方法是基於梯度的時候,這個性質是必須的
相關文章
相關標籤/搜索