機器學習優化方法：Momentum動量梯度下降

訓練機器學習模型時我們常常遇到不能訓練出最優值的情況，這往往是因爲局部極值和鞍點阻礙了我們的訓練。而病態曲率會減慢我們的訓練，嚴重的可以使我們的訓練無法得到最優值。 下圖展示了病態曲率（圖片來自阿里雲棲社區） 考慮以下損失曲線圖。 如你所知，我們在進入一個以藍色爲標誌的像溝一樣的區域之前是隨機的。這些顏色實際上代表了在特定點上的損失函數的值，紅色代表最高的值，藍色代表最低的值。 我們想要下降到最低

>>阅读原文<<