機器學習算法崗面經 | 優化方法總結對比：SGD、Momentum、AdaGrad、RMSProp、Adam

A. Stochastic Gradient Descent 隨機梯度下降 隨機梯度下降,每一次迭代計算數據集的mini-batch的梯度,然後對參數進行跟新。 θ = θ − α ▽ θ J ( θ ) \theta = \theta - \alpha\bigtriangledown_{\theta}J(\theta) θ=θ−α▽θ​J(θ) Batchsize是算法設計中需要調節的參數，較小

>>阅读原文<<