深度學習——激活函數Sigmoid/Tanh/ReLU

激活函數(Activation Function)的特色： 非線性： 當激活函數是線性的時候，一個兩層的神經網絡就能夠逼近基本上全部的函數了。 可微： 當優化方法是基於梯度的時候，這個性質是必須的。 單調性： 當激活函數是單調的時候，單層網絡可以保證是凸函數。 f(x)≈x： 當激活函數知足這個性質的時候，若是參數的初始化是random的很小的值，那麼神經網絡的訓練將會很高效。 輸出值範圍： 當激

>>阅读原文<<