優化算法

  動量法 Momentum： 目標函數有關自變量的梯度代表了目標函數在自變量當前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根據自變量當前位置，沿着當前位置的梯度更新自變量。 然而，如果自變量的迭代方向僅僅取決於自變量當前位置，這可能會帶來一些問題。 可以看到，同一位置上，目標函數在豎直方向（x2軸方向）比在水平方向（x1軸方向）的

>>阅读原文<<