Adam自適應矩估計

Adam Adam(Adaptive Moment Estimation)本質上是帶有動量項的RMSprop，它利用梯度的一階矩估計和二階矩估計動態調整每個參數的學習率。Adam的優點主要在於經過偏置校正後，每一次迭代學習率都有個確定範圍，使得參數比較平穩。 具體實現:  需要:步進值 ϵ, 初始參數 θ, 數值穩定量δ，一階動量衰減係數ρ1, 二階動量衰減係數ρ2 其中幾個取值一般爲：δ=10^

>>阅读原文<<