SGD/Momentum/Nesterov

今天看pytorch的SGD發現了關於SGD的三種擴展，分別是SGD, Momentum, Nesterov 下面整理一下三個的原理和區別： SGD Stochastic Gradient Descent param -= lr * gradient Momentum 由於採用SGD時，使用mini-batch會使得計算的梯度有較大波動. Momentum的引入可以緩解這個問題，並且加速收斂過程。

>>阅读原文<<