【AI數學基礎：微積分】凸集與凸函數

1、    凸集

 

 餘維度：

若 W 是一貫量空間 V 的一個線性子空間，則 W 在 V 的 餘維數是商空間 V/W 的維數。在有限維空間下，coddim（W）=dim（V/W）=dim（V）-dim（W）

超平面：n維歐式空間中餘維度爲1的線性子空間

(1) 超平面是指n維線性空間中維度爲n-1的子空間。它能夠把線性空間分割成不相交的兩部分。好比二維空間中，一條直線是一維的，它把平面分紅了兩塊；三維空間中，一個平面是二維的，它把空間分紅了兩塊。

(2) 法向量是指垂直於超平面的向量。

(3)    

 

(4)超平面爲x構成的平面，使用法向量a肯定方向。這個平面任取兩個點作加權平均依然在這個平面上。（a^Tx=b爲線性方程，a是一個列向量）

(5)半空間：只取超平面的一半。

 

凸集分離定律：

 

 

 

2、    凸函數

(一)   凸函數的一階刻畫

 

 

 

（x，z）爲epi中的點的座標，用這些座標點表示一個空間範圍

 

強凸：使用x²衡量凸的程度

 

 

 

 

 圖中的算子爲梯度算子。梯度算子爲導數在空間中的推廣。

紅圈部分表示任意（x，y）對應的切平面

 

(二)   凸函數的二階刻畫

黑塞矩陣

 

 

 

 

 二階導恆非負，構成的黑塞矩陣正定

 

極小即最小

 

 

(三)   保凸運算

這裏f_i表示凸函數
非負線性組合：w_i是非負數
最小化：將高維函數投影到低維函數域

(四)   課後題：

 

√：證實兩個函數都是凸函數便可