BFGS算法

擬牛頓法是在牛頓法的基礎上引入了Hessian矩陣的近似矩陣，避免每次迭代都計算Hessian矩陣的逆，它的收斂速度介於梯度下降法和牛頓法之間。擬牛頓法跟牛頓法一樣，也是不能處理太大規模的數據，因爲計算量和存儲空間會開銷很多。 擬牛頓法雖然每次迭代不像牛頓法那樣保證是最優化的方向，但是近似矩陣始終是正定的，因此算法始終是朝着最優化的方向在搜索。具有全局收斂性和超線性收斂速度。 對f(x)進行泰勒展

>>阅读原文<<