Gradient descent梯度下降(Steepest descent)

Welcome To My Blog 梯度下降(gradient descent)也叫最速下降(steepest descent),用來求解無約束最優化問題的一種常用方法,結果是局部最優解,對於目標函數爲凸的情況,可以得到全局最優解.梯度下降是迭代算法,每一步需要求解目標函數的梯度向量. 採用線搜索的框架 搜索方向取負梯度方向,步長可以通過精確線搜索或非精確線搜索獲得 關於步長,之前的文章有提過:

>>阅读原文<<