神經網絡訓練細節（一）

一、激勵函數的選取  常見的激勵層函數有sigmoid、tanh、Relu、Leaky Relu、ELU、Maxout sigmoid函數如下所示： sigmoid函數是早期用的比較多的激勵函數，但現在已經不常用了。主要是當輸入特別大或者特別小時，sigmoid函數的偏導數趨於0，這樣在使用反向傳播算法時將會出現問題,並且sigmoid函數不是關於原點對稱的，這樣在進行反向傳播時w的梯度要麼全爲正

>>阅读原文<<