機器學習案例系列教程——優化方法總結（梯度降低法、牛頓法、擬牛頓法、共軛梯度法等）

梯度降低法 梯度降低法是最先最簡單，也是最爲經常使用的最優化方法。梯度降低法實現簡單，當目標函數是凸函數時，梯度降低法的解是全局解。通常狀況下，其解不保證是全局最優解，梯度降低法的速度也未必是最快的。梯度降低法的優化思想是用當前位置負梯度方向做爲搜索方向，由於該方向爲當前位置的最快降低方向，因此也被稱爲是」最速降低法「。最速降低法越接近目標值，步長越小，前進越慢。梯度降低法的搜索迭代示意圖以下圖所

>>阅读原文<<