《最優化導論》-9牛頓法

牛頓法用到了目標函數的1、2階導數，可能會更高效。 1.思想：構造目標函數的近似函數： 1.2泰勒展開到二階，可以得到函數f(x)的近似函數： 1.3對近似函數q(x)求極小值，得到迭代形式： 1.4流程： 2.二次型中牛頓法 二次型中，牛頓法只需一次迭代即可從任意初始點x(0)收斂到f的極小的x*,滿足在x*的梯度=0。 問題，有時候隨機初始點離極小/大點較遠時，並不一定收斂，有時候黑塞矩陣爲奇

>>阅读原文<<