機器學習案例系列教程——優化方法總結（梯度下降法、牛頓法、擬牛頓法、共軛梯度法等）

梯度下降法 梯度下降法是最早最簡單，也是最爲常用的最優化方法。梯度下降法實現簡單，當目標函數是凸函數時，梯度下降法的解是全局解。一般情況下，其解不保證是全局最優解，梯度下降法的速度也未必是最快的。梯度下降法的優化思想是用當前位置負梯度方向作爲搜索方向，因爲該方向爲當前位置的最快下降方向，所以也被稱爲是」最速下降法「。最速下降法越接近目標值，步長越小，前進越慢。梯度下降法的搜索迭代示意圖如下圖所示：

>>阅读原文<<