使用動量(Momentum)的SGD、使用Nesterov動量的SGD

使用動量(Momentum)的SGD、使用Nesterov動量的SGD 參考：使用動量(Momentum)的SGD、使用Nesterov動量的SGD 一. 使用動量(Momentum)的隨機梯度下降 雖然隨機梯度下降是非常受歡迎的優化方法，但其學習過程有時會很慢。動量方法旨在加速學習（加快梯度下降的速度），特別是處理高曲率、小但一致的梯度，或是帶噪聲的梯度。動量算法累積了之前梯度指數級衰減的移動平

>>阅读原文<<