指數加權平均(EWA)

平時跑模型只知道直接上Adam Optimizer，但具體原理卻不甚理解，於是把吳恩達老師的深度學習課翻出來看，記錄一下關於動量優化算法的基礎-EMA相關內容。 指數加權平均的概念 平時我們計算平均值，就是簡單地將所有數據加起來之後與數據總數求商。對於一部分數據來說，這樣的平均值以及可以反應數據的趨勢，例如某單位的平均年齡，身高等。 但是對於某些數據來說，就不能簡單取這樣的平均值來觀察數據特徵了，

>>阅读原文<<