CNN筆記(3)---激活函數

8.Activation Function 8.1 Sigmoid 型函數 σ(x)=11+e(−x) σ ( x ) = 1 1 + e ( − x ) sigmoid 將輸出響應的值域壓縮到[0,1]之間html 可是，兩端大於5，小於-5的區域，梯度接近0，帶來梯度的「飽和效應」web 反向傳播中沒法傳遞偏差網絡 並且sigmoid 的值域均值並不是爲0，而是全爲正dom 8.2 tanh(

>>阅读原文<<