神經網絡優化算法及代碼實現——從SGD、Momentum、AdaGrad、RMSProp到Adam

Z 梯度降低（Gradient Descent ） 帶動量的梯度降低（Gradient Descent + Momentum） Nesterov Momentum AdaGrad RMSProp Adam 梯度降低（Gradient Descent ） x : = x − α ⋅ d x x := x-\alpha \cdot {\rm{d}}x x:=x−α⋅dx 其中 α \alpha α爲學

>>阅读原文<<