深度學習/機器學習入門基礎數學知識整理（四）：擬牛頓法、BFGS、L_BFDS、DFP、共軛梯度法

擬牛頓法 擬牛頓法可以克服牛頓法計算量大的缺點，不在計算目標函數的 Hesse 矩陣，而是構造一個近似 Hesse 矩陣的對稱正定矩陣，根據近似矩陣來優化目標函數，不同的近似構造 Hesse 的方法決定了不同的擬牛頓法，構造 Hesse 矩陣是需要滿足擬牛頓條件的，擬牛頓條件是這樣求得的，首先將 f(x) 在 xk+1 x k + 1 處做二階泰勒展開(忽略高階項)： f(x)=f(xk+1)+∇

>>阅读原文<<