4.2 凸優化

標準形式的凸優化問題
局部最優解與全局最優解
可微函數的最優性準則
等價的凸問題
擬凸優化

4.2.1 標準形式的凸優化問題

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ a_i^T=b_i&i=1,\cdots p \end{matrix}$

$f_0,d_1,f_2\cdots ,f_m$ 是凸函數，等式約束是仿射函數。則此優化問題是凸優化問題。算法

也能夠寫成dom

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ Ax=b& \end{matrix}$

重要性質：凸優化問題的可行集也是凸集。函數

證實：可行集是知足不等式約束和等式約束的點的集合，首先不等式約束函數是凸函數，知足不等式約束 $f_i(x)\leq 0$ 的x，至關因而的0-下水平集，凸函數的下水平集是凸集，因此知足每一個不等式約束的x均是凸集，同時知足這些不等式約束的x是這些凸集的交集仍爲凸集。對於等式約束，知足每一個仿射函數的x是凸集，同時知足多個仿射函數的x是凸集的交集也是凸集。同時考慮不等式約束和等式約束，可知凸優化問題的可行集也是凸集。優化

例子：spa

$minimize\, \, f_0(x)=x_1^2+x_2^2 \\ subject\, \, to\, \, \begin{matrix} f_1(x)=x_1/(1+x_2^2)\leq 0& \\ h_1(x)=(x_1+x_2)^2=0& \end{matrix}$

首先判斷可行集，由兩個約束函數可推出 $x_1+x_2=0,x_1\leq 0$ ，可知可行集是凸集。.net

是凸函數。可是這不是一個凸優化問題，由於其不等式約束函數不是凸函數，等式約束函數也不是仿射函數。3d

但能夠獲得其等價的凸優化問題：blog

$minimize\, \, f_0(x)=x_1^2+x_2^2 \\ subject\, \, to\, \, \begin{matrix} f_1(x)=x_1\leq 0& \\ h_1(x)=x_1+x_2=0& \end{matrix}$

4.2.2 局部最優解與全局最優解

凸優化問題的基礎性質:局部最優解也是全局最優解。ci

證實：get

假設x是局部最優解，且存在一個可行點y， $f_0(y)\leq f_0(x)$ 。

由於x是局部最優解，故存在一些R，

$R>0,f_0(x)=inf\left \{ f_0(z)|z\, is \, feasible,\begin{Vmatrix} z-x \end{Vmatrix}_2\leq R\right \}$

由於凸優化問題的可行集是凸集，故取 $\forall \theta \in[0,1],z=\theta y+(1-\theta)x$ 都屬於可行集。

由於 $f_0(y)\leq f_0(x)$ ，故 $\begin{Vmatrix} y-x \end{Vmatrix}_2> R$ ，此時令 $\theta =\frac{R}{2\begin{Vmatrix} y-x \end{Vmatrix}_2}$ 。可知 $\theta \in(0,1/2)$ 此時

$\begin{Vmatrix} z-x \end{Vmatrix}_2= \begin{Vmatrix} -\theta x+\theta y \end{Vmatrix}_2 =\begin{Vmatrix} \theta(y-x) \end{Vmatrix}_2$

$= \begin{Vmatrix} \frac{R}{2\begin{Vmatrix}y-x \end{Vmatrix}_2}(y-x) \end{Vmatrix}_2= \frac{R}{2\begin{Vmatrix}y-x \end{Vmatrix}_2}\begin{Vmatrix} (y-x) \end{Vmatrix}_2=R/2< R$

$\Rightarrow f_0(z)\geq f_0(x)$

而根據凸函數性質：

$f_0(z)=f_0(\theta y+(1-\theta)x)\leq \theta f_0(y)+(1-\theta)f_0(x)< f_0(x)$

與上式矛盾。故凸優化問題中局部最優解就是全局最優解。

4.2.3 可微函數的最優性準則

當是可微凸函數時，根據凸函數一階條件，可知 $\forall x,y\in dom(f_0),f_0(y)\geq f_0(x)+\bigtriangledown ^Tf_0(x)(y-x)$

若是x是最優解，對任意的y屬於可行集，首先知足 $f_0(y)\geq f_0(x)+\bigtriangledown ^Tf_0(x)(y-x)$ ，同時知足 $f_0(y)\geq f_0(x)$ 。因此x是最優解的充要條件就是對任意的y屬於可行集， $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$

$\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 等價於 $-\bigtriangledown ^Tf_0(x)(y-x)\leq 0$ ，故幾何上若是 $\bigtriangledown ^Tf_0(x)\neq 0$ ， $-\bigtriangledown ^Tf_0(x)$ 在可行集上定義了一個支撐超平面。

1)對於無約束問題：

可行集就是的定義域，因此x是最優解的充要條件就是 $\bigtriangledown f_0(x)=0$ 。

證實：由於可微，因此其定義域是開的，所以與x足夠近的點均可行，取 $y=-t\bigtriangledown f_0(x),t\in R$ ,t爲很小正數時，y可行，因而

$\bigtriangledown ^Tf_0(x)(y-x)= -t\bigtriangledown ^Tf_0(x) \bigtriangledown f_0(x)=-t\begin{Vmatrix}\bigtriangledown f_0(x) \end{Vmatrix}_2$ ，要想知足 $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ ，只能 $\bigtriangledown f_0(x)=0$ 。

2)對於只有等式約束的問題:

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} Ax=b& \end{matrix}$

可行解的最優性條件：對任意的y屬於可行集，即 $\forall \left \{ y|Ay=b \right \}$ , $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ ，由於x,y都是可行解，令 $y=x+v,\forall v\in N(A)$ ,N(A)表示矩陣A的零空間， $v\in N(A)\Leftrightarrow Av=0$ ,

將x,y代入最優條件： $\bigtriangledown ^Tf_0(x)v\geq 0,\forall v\in N(A)$ ，即線性函數非負，故 $\bigtriangledown ^Tf_0(x)v=0,\forall v\in N(A)$

$\bigtriangledown f_0(x)\perp N(A)$ 又由於 $N(A)^{\perp }=R(A^T)$

$\Rightarrow \bigtriangledown f_0(x)\in R(A^T)\Rightarrow \exists v\in R^p,A^Tv=\bigtriangledown f_0(x)\Leftrightarrow \exists v\in R^p,A^Tv+\bigtriangledown f_0(x)=0$

上述最優性條件也能夠拉格朗日乘子法獲得，令 $L=f_0(x)+\lambda (Ax-b)$

$\frac{\partial L}{\partial x}=\bigtriangledown f_0(x)+A^T\lambda$ ，令其爲0，獲得最優性條件。

3)對於非負象限的極小化問題:

$minimize\, \, f_0(x) \, \, \, \\subject\, \, to\, \, x\geq 0$

當x爲最優解時，最優性條件： $\forall y\geq 0,$ $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 。而 $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 是y的線性函數，在 $y\geq 0$ 時，若是 $\bigtriangledown ^Tf_0(x)< 0$ 時，函數無下界，即最優條件不可能恆成立，故 $\bigtriangledown ^Tf_0(x)\geq 0$ 。

因而最優條件寫成：

$\forall y\geq 0,$ $\bigtriangledown ^Tf_0(x)y+(-\bigtriangledown ^Tf_0(x)x)\geq 0$

因此要使上式恆成立要求 $-\bigtriangledown ^Tf_0(x)x\geq 0$ ，而 $\bigtriangledown ^Tf_0(x)\geq 0$ 且 $x\geq 0$ ，因此只能是 $\bigtriangledown ^Tf_0(x)x=0$

即 $\sum _{i=1}^n(\bigtriangledown f_0(x))_ix_i=0$

4.2.4 等價的凸問題

保持問題凸性的轉換有：消除等式約束、引入等式約束、引入鬆弛變量、上境圖問題形式、極小化部分變量

消除等式約束

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ Ax=b& \end{matrix}$

等價於

$minimize\, \, f_0(Fz+x_0) \\ subject\, \, to\, \, \begin{matrix} f_i(Fz+x_0)\leq 0& i=1,\cdots m \end{matrix}$

是Ax=b的特解，F的列能夠長成A的零空間。

引入等式約束

$minimize\, \, f_0(A_0x+b_0) \\ subject\, \, to\, \, \begin{matrix} f_i(A_ix+b_i)\leq 0& i=1,\cdots m \end{matrix}$

等價於

$minimize\, \, f_0(y_0) \\ subject\, \, to\, \, \begin{matrix} f_i(y_i)\leq 0& i=1,\cdots m \\y_i=A_ix+b_i& i=1,\cdots m\end{matrix}$

引入鬆弛變量

$minimize\, \, f_0(x) \\ subject\, \, to\, \, a_i^Tx\leq b_i,i=1,2\cdots m$

等價於

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} a_i^Tx+ s_i=b_i,i=1,2\cdots m \\ s_i\geq 0,i=1,2\cdots m \end{matrix}$

上境圖形式

凸優化問題的上境圖形式：

$minimize\, \, t \\ subject\, \, to\, \, \begin{matrix} f_0(x)-t\leq 0 \\ f_i(x)\leq 0,i=1,2\cdots m \\ a_i^Tx=b_i ,i=1,2\cdots p \end{matrix}$

極小化部分變量

極小化凸函數的部分變量將保持凸性不變，

$minimize\, \, f_0(x_1,x_2) \\ subject\, \, to\, \, \begin{matrix} f_i(x_1)\leq 0& i=1,\cdots m \end{matrix}$

等價於

$minimize\, \, \tilde{f_0}(x_1) \\ subject\, \, to\, \, \begin{matrix} f_i(x_1)\leq 0& i=1,\cdots m\end{matrix}$

$\tilde{f_0}(x_1) =\underset{x_2}{sup}\, f_0(x_1,x_2)$

4.2.5 擬凸優化

擬凸優化的標準形式

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ a_i^T=b_i&i=1,\cdots p \end{matrix}$

$f_1,f_2\cdots ,f_m$ 是凸函數，等式約束是仿射函數，是擬凸函數。則此優化問題是擬凸優化問題。

擬凸優化問題的局部最優解不必定是全局最優解。

如上圖是局部最優解可是不是全局最優解。

用一族凸函數不等式表示擬凸函數的下水平集

選擇一族凸函數 $\phi _t:R^n\rightarrow R,t \in R$ ，t是凸函數的編號，這些函數知足：

$f(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$ ，即擬凸函數的t下水平集是凸函數 $\phi _t$ 的0下水平集。

而且，對於每一個x， $\phi _t(x)$ 都是t的非增函數。

注意：t固定時，每一個 $\phi _t(x)$ 是x的凸函數。

例子：

，其中p是凸函數，q是凹函數，在定義域上， $p(x)\geq 0,q(x)> 0$ 。

則可取 $\phi _t(x)=p(x)-tq(x)$

說明：

（1） $\phi _t(x)$ 是凸的：p是凸的，q是凹的，但-q是凸的，因此 $\phi _t(x)$ 是凸的。

（2）知足： $p(x)/q(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$

求解擬凸優化的二分法

思想：有一個區間，包含最優解，取區間的中點，判斷最優解在上半區間仍是下半區間，而後更新區間，不斷將區間縮小爲原來的通常直到找到足夠小的區間。

算法：

給定 $l\leq p^*,u\geq p^*$ ，容忍度 $\varepsilon >0$

重複如下步驟:

求解凸可行性問題
若是問題可行，u=t，不然l=t

直到 $u-l< \varepsilon$

來源：https://blog.csdn.net/wangchy29/article/details/86577267

本文同步分享在博客「使君杭千秋」（CSDN）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。

凸優化第四章凸優化問題 4.2 凸優化