深度學習（8）：Momentum RMSprop Adam 學習率衰減

指數加權平均 對於一個序列a[1]，a[2]…a[3] 我們定義一個數組v[], 其中 v[0]=0 v[i]= beta*v[i-1] + (1-beta)*a[i] 這個v就叫做a的指數加權平均值 可以直觀的理解爲v[i]代表着a[i]之前的1/（1-beta）組數據的平均值，例如beta爲0.9時，v[n]近似代表着v[n-9]-v[n]的平均值 然而我們可以發現，由於v[0]=0,導致在計

>>阅读原文<<