深度學習中激活函數的區別

（1）sigmoid函數 公式： 曲線： sigmoid函數也叫 Logistic 函數，用於隱層神經元輸出，取值範圍爲(0,1)，它可以將一個實數映射到(0,1)的區間，可以用來做二分類。在特徵相差比較複雜或是相差不是特別大時效果比較好。 sigmoid缺點： 激活函數計算量大，反向傳播求誤差梯度時，求導涉及除法。 反向傳播時，很容易就會出現梯度消失的情況，從而無法完成深層網絡的訓練。 Sigm

>>阅读原文<<