牛頓法

牛頓法和擬牛頓法是求解無約束最優化的常用方法，牛頓法是迭代算法，每一步需要求解目標函數的海賽矩陣的逆矩陣，計算比較複雜，擬牛頓法通過正定矩陣近似海賽矩陣的逆矩陣或海賽矩陣，簡化了這一過程。 泰勒公式 在看牛頓法之前先看一下泰勒展開： 泰勒公式一句話描述：就是用多項式函數去逼近光滑函數 泰勒公式是將一個在 x=x0 處具有n階導數的函數 f(x) 利用關於 (x−x0) 的n次多項式來逼近函數的方法

>>阅读原文<<