Momentum梯度下降法（吳恩達深度學習視頻）

b站鏈接 Momentum梯度下降法總是快於標準的梯度下降算法，基本思想就是計算梯度的指數加權平均數，並計算該梯度更新權重。 如果你要優化成本函數，紅點代表最小值的位置，如果用mini-batch梯度下降法，我們可以看到藍色的線不斷向最小值點接近，這種上下襬動減慢了梯度下降法的速度，這樣就無法使用更大的學習率，如果學習率過大，結果可能會偏離函數的範圍，未來避免脫離最小值，只能選擇較小的學習率。 M

>>阅读原文<<