Jensen不等式及其應用

Jensen不等式的形式有不少種，這裏重點關注有關於隨機變量指望的形式。

1 Jensen不等式

Jensen不等式：已知函數\(\phi: \mathbb{R}\to\mathbb{R}\)爲凸函數，則有\(\phi[\text{E}(X)]\leq \text{E}[\phi(X)]\)。

有時候，須要用到離散形式的Jensen不等式：\(\{a_j\}\)是一系列非負權重，知足\(\sum_{j=1}^m a_j=1\)，\(\{x_j\}\)是一系列任意實數，對於凸函數\(\phi: \mathbb{R}\to\mathbb{R}\)，有

\[\phi\left(\sum_{j=1}^m a_j x_j\right) \leq \sum_{j=1}^m a_j \phi(x_j) \]

只需將原指望形式的Jensen不等式中的隨機變量取成離散的，並令\(P(X=x_j)=a_j\)，便可獲得上式。

2 條件Jensen不等式

將不等式兩邊的指望都取爲條件指望的形式，不等式依然成立。

條件Jensen不等式：已知函數\(\phi: \mathbb{R}\to\mathbb{R}\)爲凸函數，則有\(\phi[\text{E}(X|Y)]\leq \text{E}[\phi(X)|Y]\)。

來看一個應用：在\(\text{Var}(X)<\infty\)的條件下，利用條件Jensen不等式，能夠證實\(\text{Var}[\text{E}(X|Y)]\leq \text{Var}(X)\)。

證實以下：

\[\begin{aligned} &[\text{E}(X|Y)-\text{E}(X)]^2 \\ =& [\text{E}(X|Y)]^2+[\text{E}(X)]^2 - 2\text{E}(X|Y)\text{E}(X)\\ \leq & \text{E}(X^2|Y)+[\text{E}(X)]^2 - 2\text{E}(X|Y)\text{E}(X) \end{aligned} \]

兩邊取指望後，可得

\[\begin{aligned} &\text{E}\left\{\left\{\text{E}(X|Y)-\text{E}[\text{E}(X|Y)]\right\}^2\right\} \\ (= & \text{Var}[\text{E}(X|Y)])\\ \leq & \text{E}[\text{E}(X^2|Y)]+[\text{E}(X)]^2 - 2[\text{E}(X)]^2\\ = & \text{E}(X^2)+[\text{E}(X)]^2 - 2[\text{E}(X)]^2\\ = & \text{Var}(X) \end{aligned} \]

得證。

3 Jensen不等式的應用

許許多多不等式，均可以利用Jensen不等式得出，這裏整理一些例子。

3.1 套用簡單函數

將\(\phi\)直接取爲簡單的凸函數或凹函數，就能夠獲得許多不等式：

• \([\text{E}(X)]^2 \geq \text{E}(X^2)\)
• \(|\text{E}(X)|\leq \text{E}|X|\)；
• \(\exp[\text{E}(X)]\leq \text{E}[\exp(X)]\)；
• \(\text{E}[\log(X)]\leq \log[\text{E}(X)]\)；
• \(\text{E}[X^{1/2}]\leq [\text{E}(X)]^{1/2}\)。

3.2 Lyapunov不等式

Lyapunov不等式：對於任意\(0\leq p \leq q\)，有

\[[\text{E}(|X|^{p})]^{1/p} \leq [\text{E}(|X|^{q})]^{1/q} \]

證實過程，只需利用凸函數\(\phi(x)=x^{q/p}\)，和隨機變量\(Y=|X|^q\)便可。

3.3 幾何均值不等式

幾何均值不等式（Geometric Mean Inequality）：\(\{a_j|\)是一系列非負權重，知足\(\sum_{j=1}^m a_j=1\)，\(\{x_j\}\)是一系列任意的非負實數，則有

\[x_1^{a_1}x_2^{a_2}\cdots x_m^{a_m}\leq \sum_{j=1}^m a_j x_j \]

證實要用到離散形式的Jensen不等式，將\(\phi\)取爲對數函數便可，因爲對數函數是凹函數，不等式需反向。

若是取\(m=2\)，\(a_1=a_2=\dfrac{1}{2}\)，就是在中學階段熟悉的\(\sqrt{x_1 x_2}\leq \dfrac{x_1+x_2}{2}\)，即幾何均值小於等於代數均值。

3.4 Loeve’s \(C_r\) Inequality

對於一系列的任意實數\(x_j\)，有

\[\left| \sum_{j=1}^m x_j \right|^r \leq \begin{cases} \sum\limits_{j=1}^m |x_j|^r&,0\lt r\leq 1\\ m^{r-1} \sum\limits_{j=1}^m |x_j|^r&, r\gt 1 \end{cases} \]

當\(m=2\)時，記\(C_r=\max\{1,2^{r-1}\}\)，該不等式可寫爲

\[|a+b|^r\leq C_r \left(|a|^r+|b|^r\right) \]

所以也叫\(C_r\)不等式。

證實一樣需用到離散形式Jensen不等式。若\(r\gt 1\)，取\(a_j=1/m\)，\(\phi(x)=|x|^r\)，便可得證。若\(r\leq 1\)，記\(\sum_{j=1}^m |x_j|=A\)，取\(b_j=|x_j|/A\)，則\(b_j\in [0,1]\)，所以有\(b_j\leq b_j^r\)，所以

\[1=\sum_{j=1}^m b_j\leq \sum_{j=1}^m b_j^r=\dfrac{\sum_{j=1}^m |x_j|^r}{A^r} \]

再利用\(|\sum_{j=1}^m x_j |\leq \sum_{j=1}^m |x_j|=A\)，便可得證。

3.5 範數不等式

範數不等式：對於\(0\lt p\leq q\)，有

\[\left| \sum_{j=1}^m |x_j|^q \right|^{1/q} \leq\left| \sum_{j=1}^m |x_j|^p \right|^{1/p} \]

取\(r=p/q\leq 1\)，\(y_j=|x_j|^q\)，利用上一節中的\(C_r\)不等式，可得

\[\left| \sum_{j=1}^m y_j \right|^r \leq \sum_{j=1}^m |y_j|^r \]

將\(x_j\)代回並兩邊取\(1/p\)次方便可得證。