激活函數的比較

在深度網絡中激活函數的作用： 引入非線性。提升網絡的表達能力 激活函數的對比 Sigmoid： sigmoid的計算量大（相比Relu），反向傳播容易出現梯度消失，輸出均大於0，使得輸出均值不爲0，出現偏移現象。 tanh： 雙曲正切計算量更大，依然有軟飽和性； Relu: 收斂速度比sigmoid和tanh快很多（差值更大導致loss更大），缺點是輸出會落入贏飽和區，影響網絡收斂區。 Lekyr

>>阅读原文<<