momentum梯度下降

正常的梯度下降是： 則梯度下降雖然也是向着最小值（紅點）下降，但是按着紫色1號線的軌跡，並且隨着迭代次數的增加，a學習率是不斷降低的，因此效率並不是很高。 我們希望下降的方向就像紅色2號線一樣，一路向着最小值快速前進。 這裏我們引入加權平均值的概念，比如一系列數N={n1 ,n2, … ,nn} 我們求其加權平均值時： s_0 = 0 s_1 = t * s_0 + (1 - t) * n1 s_

>>阅读原文<<