神經網絡常見優化算法(Momentum, RMSprop, Adam)的原理及公式理解, 學習率衰減

參考資料: 吳恩達Coursera深度學習課程 deeplearning.ai (2-2) 優化算法–課程筆記 1. 指數加權平均(指數加權移動平均) 指數加權平均是統計一個波動的指標在一段時間內的平均變化趨勢, 具體公式爲: v t = β v t − 1 + ( 1 − β ) θ t v_t = \beta v_{t-1} + (1 - \beta)\theta_t vt​=βvt−1​+(

>>阅读原文<<