無約束優化算法——牛頓法與擬牛頓法（DFP，BFGS，LBFGS）

簡介：最近在看邏輯迴歸算法，在算法構建模型的過程當中須要對參數進行求解，採用的方法有梯度降低法和無約束項優化算法。以前對無約束項優化算法並非很瞭解，因而在學習邏輯迴歸以前，先對無約束項優化算法中經典的算法學習了一下。下面將無約束項優化算法的細節進行描述。爲了尊重別人的勞動成果，本文的出處是：http://blog.csdn.net/itplus/article/details/21896453

 

、

 

從這裏咱們能夠看出：要想迭代出Xk+1，就只須要計算Dk+1便可。DFP算法是對Dk+1的一個近似計算的算法。BFGS算法是直接近似計算海森矩陣，用B_k+1表示。