牛頓法與擬牛頓法

牛頓法的特點： 若目標函數是二次函數時，由於二次泰勒展開函數與原目標函數完全相同，所以可以一步到位。所以牛頓法是一種具有二次收斂性的算法。所以適用於二次性態較強或迭代點已進入極小值點的鄰域，其收斂速度也是很快的。這是牛頓法的主要優點。 缺點是原始牛頓法由於迭代公式沒有步長因子，而是定長迭代，所以對於非二次型目標函數，會出現函數值上升的現象，這表明原始牛頓法不能保證函數值穩定的下降，在嚴重的情況下會

>>阅读原文<<