CV學習（二）：網絡優化之七個常見激活函數介紹

網絡優化之激活函數介紹 激活函數：神經網絡的信號經過非線性的激活函數傳遞。正是由於非線性函數的反覆疊加，才使得神經網絡有足夠的非線性擬合能力。選擇不同的激活函數會影響整個深度神經網絡。 1.Sigmoid函數 公式 函數圖像 Sigmoid是傳統神經網絡使用頻率最高的函數它平滑，便於求導。旦易出現梯度消失的問題。 函數輸出不是0中心【輸出值恆大於0】，這會使得模型訓練的收斂速度變慢，且使用的是冪運

>>阅读原文<<