[最優化]牛頓法和擬牛頓法

針對 無約束優化問題：min f(x)  （f(x)二階可導） 牛頓法：對原函數進行二階泰勒展開 ，在對展開式求一階梯度▽f(x)，並令▽f(x)=0，得 令x=xk 獲得迭代公式，每次迭代可求得較小的值的x 擬牛頓法：因爲 海森矩陣求逆比較複雜，使用符合▽f(x)=0條件的矩陣代替     當前處理大規模數據 最常用的是L-BFGS 可以緩解內存壓力

>>阅读原文<<