2.6 動量梯度下降法-深度學習第二課《改善深層神經網絡》-Stanford吳恩達教授

動量梯度下降法 (Gradient Descent with Momentum) 還有一種算法叫做Momentum，或者叫做動量梯度下降法，運行速度幾乎總是快於標準的梯度下降算法，簡而言之，基本的想法就是計算梯度的指數加權平均數，並利用該梯度更新你的權重，在本視頻中，我們呢要一起拆解單句描述，看看你到底如何計算。 例如，如果你要優化成本函數，函數形狀如圖，紅點代表最小值的位置，假設你從這裏（藍色點

>>阅读原文<<