常見激活函數回顧總結

激活函數分類示意圖 飽和激活函數的存在的問題： 1） 在接近飽和區時，變化太緩慢，導數趨於0，容易出現梯度消失。 2） 反向傳播求解偏差梯度時，梯度趨於0，收斂速度慢。  web 非飽和激活函數的優點： 1） 沒有飽和區，抑制了「梯度消失」問題。（梯度消失問題的緣由是多方面的，不單單是激活函數的鍋） 2） 收斂速度快 3） ReLU會使一部分神經元輸出爲0，使網絡更加稀疏，從而下降了網絡參數之間的

>>阅读原文<<