牛頓法求最優值與Hessian矩陣

牛頓法至少有兩個應用方向，1、求方程的根，2、最優化。牛頓法涉及到方程求導，下面的討論均是在連續可微的前提下討論。   1、求解方程。 並不是所有的方程都有求根公式，或者求根公式很複雜，導致求解困難。利用牛頓法，可以迭代求解。 原理是利用泰勒公式，在x0處展開，且展開到一階，即f(x) = f(x0)+(x－x0)f’(x0) 求解方程f(x)=0，即f(x0)+(x-x0)*f’(x0)=0，求

>>阅读原文<<