13.請問人工神經網絡中爲什麼Relu要好過tanh和sigmoid

採用sigmoid等函數，算激活函數時計算量大，反向傳播求誤差梯度時，求導涉及除法和指數運算，計算量相對較大，而採用Relu激活函數，整個過程的計算量節省很多。 對於深層網絡，sigmoid函數反向傳播時很容易出現梯度消失的情況（在sigmoid接近飽和區時，變換太緩慢，導數趨於0，這種情況會造成信息丟失），這種現象稱爲飽和，從而無法完成深層網絡的訓練。而Relu就不會有飽和傾向，不會有特別小的梯

>>阅读原文<<