指數加權平均和momentum梯度下降

開頭先以一個例子引入指數加權平均         假設以下是倫敦某年365天的天氣： 藍點是每一天的溫度， vt表示每一天指數加權後的溫度，連接這些點後，也就有了這條紅色的彎曲的線，爲什麼我們要使用指數加權呢？我的理解是讓連接的曲線更加平滑，讓每天溫度的變化幅度變小一點，因爲每一天的加權溫度，總是會加上前一天的溫度。 1.加權係數不同，導致的結果不同        此時我們看到等式右邊的v前面有一

>>阅读原文<<