momentum梯度下降法

指數加權平均 假設有多個時間點對應的值 θ t \theta_t θt​，那麼我可以得出一個指數加權平均值 V t V_t Vt​： { V t = 0 t = 0 V t = β V t − 1 + ( 1 − β ) θ t t > 0 \begin{cases} V_t=0&t=0\\ V_t=\beta V_{t-1}+(1-\beta)\theta_t&t>0 \end{cases} {

>>阅读原文<<