迴歸優化方法——梯度下降法、牛頓法、擬牛頓法

      在解決優化問題時，最常見的方法是梯度下降法、牛頓法、擬牛頓法 一、梯度下降法       首先，回顧幾個概念：       導數：函數曲線上的某一點的導數大於零，表明函數在該點沿着 x x 軸的正方向趨於增加；反之，表明函數在該點沿着 x x 軸的正方向趨於減小；       方向導數：上述導數的定義指的是沿着 x x 軸的正方向，而方向導數指的是某一點沿着任意趨近方向上的導數值；  

>>阅读原文<<