爲什麼ReLU在神經網絡中是最普遍的激活函數？

激活函數通常需要3個屬性： 1.非線性-這是激活函數的關鍵屬性。 得益於該神經網絡，可用於解決非線性問題。 2.連續可微–這意味着我們具有連續的一階導數。 這是實現基於梯度的優化方法的理想屬性。 可連續微分的激活函數對於基於梯度的優化方法沒有任何問題。 3.單調–它有助於神經網絡更輕鬆地收斂爲更精確的模型。   ReLU是非線性和單調的。 但這不是連續可微的。 其他激活函數（如Sigmoid和ta

>>阅读原文<<