梯度下降、牛頓法和擬牛頓法

1. 梯度下降法 梯度下降法用來求解目標函數的極值。這個極值是給定模型給定數據之後在參數空間中搜索找到的。迭代過程爲： 可以看出，梯度下降法更新參數的方式爲目標函數在當前參數取值下的梯度值，前面再加上一個步長控制參數alpha。梯度下降法通常用一個三維圖來展示，迭代過程就好像在不斷地下坡，最終到達坡底。爲了更形象地理解，也爲了和牛頓法比較，這裏我用一個二維圖來表示： 懶得畫圖了直接用這個展示一下。

>>阅读原文<<