優化算法--momentum

momentum ​ 梯度下降或隨機梯度下降都是目標函數在自變量當前位置下降最快的方向，然而，每次迭代都沿着最陡方向並且只考慮當前位置，會使得目標函數很容易陷入局部最小值和鞍點。 ​ 可以看到，同一位置上，目標函數在豎直方向（ x 2 x_2 x2​軸方向）比在水平方向（ x 1 x_1 x1​軸方向）的斜率的絕對值更大。因此，給定學習率，梯度下降迭代自變量時會使自變量在豎直方向比在水平方向移動幅

>>阅读原文<<