數值優化（Numerical Optimization）學習系列-擬牛頓方法（Quasi-Newton）

概述 擬牛頓方法相似於最速降低法，在每一步迭代過程當中僅僅利用梯度信息，可是經過度量梯度之間的變化，可以產生超線性的收斂效果。本節主要學習一下知識點： 1. 擬牛頓方程推導 2. 幾個常見的擬牛頓方法 3. 擬牛頓方法的收斂性web 擬牛頓方程 擬牛頓方法既有線搜索的影子也有牛頓方法的思想，下面從兩個角度分別介紹擬牛頓方程，即在擬牛頓方法中要遵循的一個原則。算法 線搜索角度 假設在第K步迭代過程當

>>阅读原文<<