牛頓法和牛頓迭代法

牛頓法，大體的思想是用泰勒公式的前幾項來代替原來的函數，而後對函數進行求解和優化。牛頓法和應用於最優化的牛頓法稍微有些差異。

牛頓法

牛頓法用來迭代的求解一個方程的解，原理以下：
對於一個函數f(x),它的泰勒級數展開式是這樣的

\[ f(x) = f(x_0) + f'(x_0)(x-x_0) + \frac{1}{2} f''(x_0)(x-x_0)^2 + ...+\frac{1}{n!}f^{n}(x_0)(x-x_0)^n\]

當使用牛頓法來求一個方程解的時候，它使用泰勒級數前兩項來代替這個函數，即用\(\phi(x)代替f(x)\),其中:

\[\phi(x) = f(x_0) + f'(x_0)(x-x_0)\]

令\(\phi(x) = 0\)，則 \(x = x_0 - \frac{f(x_0)}{ f'(x_0)}\)。
因此，牛頓法的迭代公式是\(x_{n+1} = x_n - \frac{f(x_n)}{ f'(x_n)}\)

牛頓法求解n的平方根

求解n的平方根，實際上是求方程\(x^2 -n = 0\)的解
利用上面的公式能夠獲得：\(x_{i+1} = x_i - \frac{x_i^2 - n}{2 x_i} = (x_i + \frac{n}{x_i} ) /2\)
編程的時候核心的代碼是：x = (x + n/x)/2

應用於最優化的牛頓法

應用於最優化的牛頓法是以迭代的方式來求解一個函數的最優解，經常使用的優化方法還有梯度降低法。
取泰勒展開式的二次項,即用\(\phi(x)\)來代替\(f(x)\)：

\[\phi(x) = f(x_0) + f'(x_0)(x-x_0) + \frac{1}{2} f''(x_0)(x-x_0)^2\]

最優勢的選擇是\(\phi'(x)=0\)的點，對上式求導

\[\phi'(x) =f'(x_0) + f''(x_0)(x-x_0)\]

令\(\phi'(x) = 0\)，則\(x = x_0 - \frac{f'(x_0)}{f''(x_0)}\)
因此，最優化的牛頓迭代公式是
\[x_{n+1} = x_n - \frac{f'(x_n)}{f''(x_n)}\]

高維下的牛頓優化方法

在高維下

\[\phi(x) = f(x_0) + \nabla f(x_0)^T (x-x_0) + \frac{1}{2} (x-x_0)^T \nabla^2 f(x_0)(x-x_0)\]

求\(\nabla \phi(x)\),並令它等於0，則公式變爲了

\[\nabla f(x_0) + \nabla^2 f(x_0)(x-x_0) =0\]

即

\[x = x_0 - {\nabla ^2 f(x_0) }^{-1} \nabla f(x_0)\]

因此，迭代公式變爲

\[x_{n+1} = x_{n} - {\nabla ^2 f(x_n) }^{-1} \nabla f(x_n)\]

其中：
\(x_{n+1} ,x_n\)都是N*1維的矢量。
\(\nabla^2 f(x_n)\)是Hessien矩陣，\({\nabla ^2 f(x_n) }^{-1}\)是Hessien矩陣的逆矩陣，它們都是是N*N維的。
\(\nabla f(x_n)\)是 \(f(x)\)的導數，是N*1維的。

和梯度降低法相比，在使用牛頓迭代法進行優化的時候，須要求Hessien矩陣的逆矩陣，這個開銷是很大的。