深度學習的優化算法總結

深度學習優化算法總結 1、SGD 2、SGD with Momentum 3、SGD with Nesterov Acceleration 4、AdaGrad 5、AdaDelta / RMSProp 6、Adam 7、Nadam 在深度學習領域，優化算法的選擇是重中之重。梯度下降算法是目前神經網絡中使用最廣泛的優化算法之一。爲了彌補樸素梯度下降的缺陷，又出現了SGD、SGD with Momen

>>阅读原文<<