機器學習激活函數選擇對比

1-1. sigmoid函數 取值範圍爲(0,1)，因而又稱爲l Logistic 函數，它可以將一個實數映射到(0,1)的區間，可以用來做二分類 應用：在特徵相差比較複雜或是相差不是特別大時效果比較好 sigmoid缺點： 激活函數計算量大，反向傳播求誤差梯度時，求導涉及除法 反向傳播時，很容易就會出現梯度消失的情況，從而無法完成深層網絡的訓練 1-2. Tanh函數 或者寫成 sigmoid

>>阅读原文<<