常見激活函數回顧總結

激活函數分類示意圖 飽和激活函數的存在的問題： 1） 在接近飽和區時，變化太緩慢，導數趨於0，容易出現梯度消失。 2） 反向傳播求解誤差梯度時，梯度趨於0，收斂速度慢。   非飽和激活函數的優勢： 1） 沒有飽和區，抑制了「梯度消失」問題。（梯度消失問題的原因是多方面的，不僅僅是激活函數的鍋） 2） 收斂速度快 3） ReLU會使一部分神經元輸出爲0，使網絡更加稀疏，從而降低了網絡參數之間的相互依

>>阅读原文<<