優化器算法optimizer

文章目錄 1.相關背景 1.1.指數加權移動平均(Exponential Weighted Moving Average) 1.1.1.演化與概述 1.1.2.公式理解 1.1.3.EMA 偏差修正 1.1.4.EMA 在 Momentum 優化算法中應用的理解 2.遞歸下降算法 2.1.BGD MBGD SGD 2.2.Momentum 2.3.Nesterov Accelerated Grad

>>阅读原文<<