2.2.3 動量梯度下降法

動量梯度下降法 我們現在介紹一下Momentum梯度下降法，運行速度快於標準的梯度下降法。其基本思想就是計算梯度的指數加權平均數，並利用該梯度來更新權重。 如圖所示，圖中藍色的代表batch或者mini-batch的梯度下降法，很可能這種梯度下降法的逼近就是以這種形式來逼近的。這種上下波動減慢了梯度下降法的更新速度。使你無法用更大的學習率。如果用更大的學習率可能就如圖中紫色線條所示，偏離了學習範圍

>>阅读原文<<