琴生不等式

參考資料：360百科、機率統計

琴生不等式，又名詹森(Jensen)不等式。

在機器學習中對凸函數的定義不一樣於以往在數學中接觸的凹函數定義，咱們把相似碗形的函數稱之爲凸函數，相似拱形的函數稱之爲凹函數。以下圖所示：

定義

若是函數f(x)知足對定義域上任意兩個x一、x2都有(f(x1)+f(x2))/2>=f((x1+x2)/2)，那麼f(x)爲凸函數，或下凹函數。

拓展定義

設f(x)爲凸函數，則f[(x1+x2+……+xn)/n]≤[f(x1)+f(x2)+……+f(xn)]/n(下凸)；設f(x)爲凹函數，f[(x1+x2+……+xn)/n]≥f(x1)+f(x2)+……+f(xn)]/n(上凸)，稱爲琴生不等式。

若是上面凹凸是嚴格的，那麼不等式的等號只有x1=x2=...=xn才成立。

加權形式爲：

f[(a1*x1+a2*x2+……+an*xn)]≤a1f(x1)+a2f(x2)+……+anf(xn)(下凸)；

f[(a1*x1+a2*x2+……+an*xn)]≥a1f(x1)+a2f(x2)+……+anf(xn)(上凸)，

其中

ai≥0(i=1,2,……,n),且a1+a2+……+an=1。

關於琴生不等式的結論

若是f(x)二階可導，並且f''(x)≥0，那麼f(x)是下凸函數（凸函數）；

若是f(x)二階可導，並且f''(x)≤0，那麼f(x)是上凸函數（凹函數）。

公式應用

(x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t，（t>1時）；

(x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t，（0<t<1時）；

取f(x) = x^t。

((x1+x2+...+xn)/n)^n>=x1*x2*...*xn，取f(x)=log(x)。