Active functions & Optimizers （激活函數與優化器）

在學習active functions之前，我們應該先了解下active functions應該具備的一些性質： 非線性； 可微性：當優化方法是基於梯度的時候，這個性質是必須的； 單調性：當激活函數是單調的時候，單層網絡能夠保證是凸函數； f(x)≈x f ( x ) ≈ x ：當激活函數滿足這個性質的時候，如果參數的初始化是random的很小的值，那麼神經網絡的訓練將會很高效；如果不滿足這個性質

>>阅读原文<<