凸優化簡介 Convex Optimization Overview

最近的看的一些內容好多涉及到凸優化，沒時間系統看了，簡單的瞭解一下，凸優化的兩個基本元素分別是凸函數與凸包

凸集

凸集定義以下：

也就是說在凸集內任取兩點，其連線上的全部點仍在凸集以內。

凸函數

凸函數的定義以下：

$\theta x+(1-\theta)y$的意思就是說在區間 $(x,y)$ 之間任取一點 $y – \theta(y-x)$ 即爲 $\theta x+(1-\theta)y$ , 凸函數的幾何意義表示爲函數任意兩點的連線上的取值大於該點在函數上的取值，幾何示意圖形以下：

凸函數的一階充要條件：

一階充要條件的意思是說 $f$ 可微 ，$f$ 是凸函數當且僅當其切線在某點的取值小於函數自己在該點的取值，一階充要條件的圖形以下：

凸函數的二階充要條件：

其中要求 $f$ 二階可微，表示二階導數在其定義域上需大於 $0$ 纔是凸函數。

凸優化

有了以上兩個概念，接下來就是凸優化了，凸優化問題一般有以下的形式：

這裏 $f$ 爲凸函數，$C$ 爲凸包，一般還能夠寫做以下的形式：

這不就是約束規劃問題麼，這裏 $f$ 爲凸函數，$g_i(x)$ 爲凸函數， $h_i(x)$ 爲仿射函數，這麼多的約束會把空間約束成以下的形式：

因此只須要在 $x^*$ 的範圍裏求解便可。對於凸優化問題來講，只有一個全局極值點，性質很是好,直接對偶啊，拉格朗日啊什麼的往上招呼就能夠了。

凸優化問題有一些特殊的形式，好比說線性規劃，二次規劃，二次約束的二次規劃，與半正定規劃，這些特殊形式使得咱們能夠使用更加優化的方式來求解。

線性規劃：

接下來是二次規劃：

 

 

二次約束二次規劃：

參考： cs229 note