常見的幾種最優化方法（梯度下降法、牛頓法、擬牛頓法、共軛梯度法等）

在看神經網絡的時候，用到了最優化理論數學課上講的幾種梯度下降法再次溫習下，數學是工具 這篇博主寫的挺好的收藏一下。 梯度：有時候也稱之爲斜度，也就是一個曲面沿着給定方向的傾斜程度。表示某一個函數在該點出的方向導數沿着該方向取得最大值，即函數在該點出沿着該方向（此梯度方向）變化最快，變化率最大。 梯度下降法是最早最簡單，也是最爲常用的最優化方法。梯度下降法實現簡單，當目標函數是凸函數時，梯度下降法的

>>阅读原文<<