梯度下降法，牛頓法，牛頓高斯法的原理比較

梯度下降法和牛頓法可以用於任何可導函數的優化，都是把要優化的函數做泰勒展開後，找到能讓目標函數最小的那個，注意不會目標函數的自變量x。 梯度下降法值保留泰勒展開的一階項（只有雅克比項），牛頓法保留到二階項（有海森矩陣項）。 爲了求使目標函數最小的，我們對求導，然後試圖求得使倒數爲0的那個。 對於一階的梯度下降法，求導後是線性方程，所以沒有極小值，所以只用求得的的方向。 對於二階的牛頓法，求導後是二

>>阅读原文<<