SGD、Momentum、RMSProp、Adam等優化算法比較

算法名稱 公式 解釋 牛頓法 θ t = θ t − 1 − H t − 1 − 1 ⋅ ▽ θ t − 1 J ( θ t − 1 ) \theta_t=\theta_{t-1}-H^{-1}_{t-1}·▽_{\theta_{t-1}}J(\theta_{t-1}) θt​=θt−1​−Ht−1−1​⋅▽θt−1​​J(θt−1​) H t − 1 − 1 H^{-1}_{t-1} Ht−1−

>>阅读原文<<