梯度下降法，最速下降法，牛頓法，Levenberg-Marquardt 修正，共軛方向法，共軛梯度法

優化對象：凸函數 梯度下降法 顧名思義，就是沿着與梯度相反的方向迭代。（梯度方向是增長最快的方向，所以負梯度方向是下降最快的方向）。 最速下降法 最速下降法是梯度方向法的一種，與上面的梯度下降法不同的是：梯度下降法是固定的學習率，最速下降法是變化的學習率（具體見下面的介紹）。 特點：每一次迭代時的梯度方向與上一次迭代時的梯度方向正交 牛頓法 在某一個特定點處將函數泰勒展開（僅保留至二次項），用泰勒

>>阅读原文<<