梯度下降法,最速下降法,牛頓法,Levenberg-Marquardt 修正,共軛方向法,共軛梯度法

優化對象:凸函數 梯度下降法 顧名思義,就是沿着與梯度相反的方向迭代。(梯度方向是增長最快的方向,所以負梯度方向是下降最快的方向)。 最速下降法 最速下降法是梯度方向法的一種,與上面的梯度下降法不同的是:梯度下降法是固定的學習率,最速下降法是變化的學習率(具體見下面的介紹)。 特點:每一次迭代時的梯度方向與上一次迭代時的梯度方向正交 牛頓法 在某一個特定點處將函數泰勒展開(僅保留至二次項),用泰勒
相關文章
相關標籤/搜索