指數加權平均-exponential weighted average

前言 上一篇我們說通過mini batch的方式來爲梯度下降算法增速。 這次說一說指數加權平均。 它同樣是用來給梯度下降增速的。 在我們的正常的梯度下降中，不論是mini batch還是 full batch，梯度下降的效果大概是下面這個樣子的。 梯度下降算法就像是上面這個圖一樣，像一個碗一樣。這是我們優化成本函數J的方式，不停的更新w和b的值。讓函數移動到最下面的那個紅色的點，也就是全局最優解。

>>阅读原文<<