深度學習_深度學習基礎知識_Adam優化器詳解

Adam介紹 Adam優化器結合了AdaGrad和RMSProp兩種優化算法的優點。對梯度的一階矩估計（First Moment Estimation，即梯度的均值）和二階矩估計（Second Moment Estimation，即梯度的未中心化的方差）進行綜合考慮，計算出更新步長。 Adam的優勢 實現簡單，計算高效，對內存需求少。 參數的更新不受梯度的伸縮變換影響。 超參數具有很好的解釋性，且

>>阅读原文<<