深度學習:優化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam

深度學習:優化方法 1. 指數加權平均（Exponentially weighted average） 2. 帶偏差修正的指數加權平均（bias correction in exponentially weighted average） 3. 動量（momentum） 4. Nesterov Momentum 5.AdaGrad（Adaptive Gradient） 6. Adadelta 7.R

>>阅读原文<<