最優化局部極小點的條件（二）

時間 2019-11-05

標籤最優化局部極小條件简体版

原文原文鏈接

回憶一下關於 $\large n$ 元實值函數的 $\large f:R^{n}\rightarrow R$ 的求導問題，函數 $\large f$ 的一階導數 $\large Df$ 爲

$\large Df\triangleq \begin{bmatrix} \frac{\partial f}{\partial x_{1}},&\frac{\partial f}{\partial x_{2}}, &\cdots, & \frac{\partial f}{\partial x_{n}} \end{bmatrix}$

函數 $\large f$ 的梯度 $\large \triangledown f$ 正好是導數 $\large Df$ 的轉置，即 $\large \triangledown f=(Df)^{T}$ ；函數 $\large f$ 的二階導數，也稱爲hessian矩陣，可表示爲：

$\large H(x)\triangleq D^{2}f(x)=\begin{bmatrix} \frac{\partial^2 f}{\partial x_{1}^2}& \cdots & \frac{\partial^2 f}{\partial x_{n}\partial x_{1}} \\ \vdots & & \vdots \\ \frac{\partial^2 f}{\partial x_{1}\partial x_{n}}&\cdots &\frac{\partial^2 f}{\partial x_{n}^2} \end{bmatrix}$

對於向量 $\large d\in R^{n}$ , $\large d\neq 0$ 和約束集中的某個點 $\large x\in \Omega$ ，若是存在一個實數

This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.

使得對於全部 $\large a\in [0,a_{0}]$ ， $\large x+ad$ 仍然在約束集內，即 $\large x+ad\in \Omega$ ，則稱 $\large d$ 爲 $\large x$ 處的可行方向！

$\large d$ 爲 $\large n$ 元實值函數 $\large f:R^{n}\rightarrow R$ 在 $\large x\in \Omega$ 處的可行方向，則函數 $\large f$ 沿方向 $\large d$ 的方向導數 $\large \partial f/\partial d$ 可表示爲

$\large \frac{\partial f}{\partial d}(x)=\lim_{a\rightarrow 0}\frac{f(x+ad)-f(x)}{a}$

這也是一個實值函數，若是 $\large \left \| d \right \|=1$ ，那麼方向導數 $\large \partial f/\partial d$ 表示的是函數 $\large f$ 的值在 $\large x$ 處沿方向 $\large d$ 的增加率。爲了計算方向導數，假定 $\large x$ 和 $\large d$ 已知，這樣 $\large f(x+ad)$ 就變成了關於 $\large a$ 的函數，有

$\large \frac{\partial f}{\partial d}(x) =\left.\dfrac{d}{da}f(x+ad)\right|_{a=0}$

應用鏈式法則，可得

$\large \frac{\partial f}{\partial d}(x) =\left.\dfrac{d}{da}f(x+ad)\right|_{a=0}=\triangledown f(x)^{T}d=\left \langle \triangledown f(x),d \right \rangle=d^{T}\triangledown f(x)$

因而可知，當 $\large d$ 是一個單位向量( $\large \left \| d \right \|=1$ )時，函數f的值在 $\large x$ 處沿方向 $\large d$ 的增加率能夠用內積 $\large \left \langle \triangledown f(x),d \right \rangle$ 表示。

一階必要條件：多元實值函數 $\large f$ 在約束集 $\large \Omega$ 上一階連續可微，即 $\large f\in C^{1}$ ，約束集 $\large \Omega$ 是 $\large R^{n}$ 的子集。若是 $\large x^{*}$ 是函數 $\large f$ 在 $\large \Omega$ 上的局部極小點，則對於 $\large x^{*}$ 處的任意可行方向 $\large d$ ，都有

$\large d^{T}\triangledown f(x^{*})\geqslant 0$

成立。

推論：局部極小點位於約束集內部時的一階必要條件：多元實值函數 $\large f$ 在約束集 $\large \Omega$ 上一階連續可微，即 $\large f\in C^{1}$ ，約束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，若是 $\large x^{*}$ 是函數 $\large f$ 在 $\large \Omega$ 上的局部極小點，且是 $\large \Omega$ 的內點，則有

$\large \triangledown f(x^{*})=0$

成立。

局部極小點的二階必要條件：多元實值函數 $\large f$ 在約束集 $\large \Omega$ 上二階連續可微，即 $\large f\in C^{2}$ ，約束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，若是 $\large x^{*}$ 是函數 $\large f$ 在 $\large \Omega$ 上的局部極小點， $\large d$ 是 $\large x^{*}$ 處的一個可行方向，且 $\large \triangledown f(x^{*})=0$ ，則有

$\large d^{T}H(x^{*})d\geqslant 0$

其中，H爲函數f的hessian矩陣。

推論：局部極小點位於約束集內部時的二階必要條件：多元實值函數 $\large f$ 在約束集 $\large \Omega$ 上二階連續可微，即 $\large f\in C^{2}$ ，約束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，若是 $\large x^{*}$ 是函數 $\large f$ 在 $\large \Omega$ 上的局部極小點，且是 $\large \Omega$ 的內點，則有

$\large \triangledown f(x^{*})=0$

hessian矩陣 $\large H(x^{*})$ 半正定，也就是說，對於全部的向量 $\large d\in R^{n}$ ，都有

$\large d^{T}H(x^{*})d\geqslant 0$

局部極小點的二階充分條件（局部極小點爲內點）：多元實值函數 $\large f$ 在約束集上二階連續可微，即 $\large f\in C^{2}$ ， $\large x^{*}$ 是約束集的一個內點，若是同時知足

1 $\large \triangledown f(x^{*})=0$

2

則 $\large x^{*}$ 是函數 $\large f$ 的一個嚴格局部極小點

-------------------------------------------------------------------------------html

轉載請註明出處博客園刺蝟的溫馴函數

本文連接 http://www.cnblogs.com/chenying99/p/5081426.html 優化