人工神經網絡中爲什麼ReLu要好過於tanh和sigmoid function？

先看sigmoid、tanh和RelU的函數圖：   第一，採用sigmoid等函數，算**函數時（指數運算），計算量大，反向傳播求誤差梯度時，求導涉及除法和指數運算，計算量相對大，而採用Relu**函數，整個過程的計算量節省很多。 第二，對於深層網絡，sigmoid函數反向傳播時，很容易就會出現梯度消失的情況（在sigmoid接近飽和區時，變換太緩慢，導數趨於0，這種情況會造成信息丟失），這種現

>>阅读原文<<