機器學習——霍夫丁（Hoeffding）不等式證實

馬爾可夫不等式

結論：

　　對於任意非負隨機變量$X$，$\forall \epsilon>0$，有：

$\displaystyle P(X\ge\epsilon)\le\frac{E(X)}{\epsilon}$

　　切比雪夫不等式是它的特例。

證實：

$ \begin{align*} E(X) &= \int_{0}^{\infty}xf(x)dx\\ &\ge \int_{\epsilon}^{\infty}xf(x)dx\\ &\ge \int_{\epsilon}^{\infty}\epsilon f(x)dx\\ &=\epsilon P(X\ge \epsilon)\\ \end{align*}$

　　把$\epsilon$除過去，得證。離散狀況同樣。

霍夫丁不等式引理

結論：

　　對於隨機變量$X$，$P(X\in [a,b]) = 1,E(X)=0$，有：

$E(e^{sX})\le e^{s^2(b-a)^2/8}$

證實：

　　因$e^{sX}$是關於$X$的凸函數，由凸函數性質：

$\displaystyle e^{sX}\le \frac{b-X}{b-a}e^{sa}+\frac{X-a}{b-a}e^{sb}$

　　因而對$X$取指望，有：

$ \begin{align*} \displaystyle E(e^{sX}) &\le \frac{b-E(X)}{b-a}e^{sa}+\frac{E(X)-a}{b-a}e^{sb}\\ & = \frac{b}{b-a}e^{sa}-\frac{a}{b-a}e^{sb}\\ & = \left(-\frac{a}{b-a}\right)e^{sa}\left(-\frac{b}{a}+e^{sb-sa}{}\right)\\ \end{align*}$

　　由於$E(X)=0$，$X\in [a,b]$，而$a,b$都爲0的狀況沒有討論的意義，因此有$a<0,b>0$。令$\displaystyle\theta = -\frac{a}{b-a}>0$，則上式變爲：

$ \begin{align*} \displaystyle E(e^{sX}) &\le \theta e^{-s\theta (b-a)}\left(\frac{1}{\theta}-1+e^{s(b-a)}\right)\\ &=(1-\theta + \theta e^{s(b-a)})e^{-s\theta(b-a)}\\  \end{align*}$

　　由於

$ \begin{gather} \displaystyle 1-\theta+\theta e^u = \theta(\frac{1}{\theta}-1+e^u) = \theta(-\frac{a}{b}+e^u)>0 \label{} \end{gather} $

　　因此不等式能夠變爲：

$\displaystyle E(e^{sX})\le e^{\ln(1-\theta + \theta e^{s(b-a)})}e^{-s\theta(b-a)}$

　　令$u = s(b-a)$：

$E(e^{sX})\le e^{\ln(1-\theta+\theta e^u)-\theta u}$

　　定義$\varphi:R\to R,\varphi(u)= \ln(1-\theta+\theta e^u)-\theta u$。由$(1)$式可得這個函數是良定義的，也就是$\varphi(u)$的$\ln$並不限制$u$的取值。得：

$E(e^{sX})\le e^{\varphi(u)}$

　　由泰勒中值定理，$\exist\xi\in [0,u]$使

$\displaystyle\varphi(u)=\varphi(0)+u\varphi'(0)+\frac{1}{2}u^2\varphi''(\xi)$

　　其中：

$ \begin{equation} \begin{array}{lcl} \varphi(0) = 0 \\ \varphi'(0)= \left.\left(\frac{\theta e^u}{1-\theta+\theta e^u}-\theta\right)\right|_{u=0}=0  \\ \begin{split} \varphi''(\xi) &= \frac{\theta e^{\xi}(1-\theta+\theta e^{\xi})-\theta^2 e^{2\xi}}{(1-\theta+\theta e^{\xi})^2} \\ &=\frac{\theta e^{\xi}}{1-\theta+\theta e^{\xi}}(1-\frac{\theta e^{\xi}}{1-\theta+\theta e^{\xi}})\\ &=t(1-t)\le\frac{1}{4} \end{split} \end{array} \end {equation} $

　　所以有：

$\displaystyle\varphi(u)\le 0+0+\frac{1}{2}u^2\times\frac{1}{4} = \frac{1}{8}s^2(b-a)^2$

　　因而

$E(e^{sX})\le e^{s^2(b-a)^2/8}$

霍夫丁不等式

結論

　　wiki的定義：

　　霍夫丁不等式適用於有界的隨機變量。設有兩兩獨立的一系列隨機變量$X_{1},\dots ,X_{n}$。假設對全部的$X_{i}$都是幾乎有界（當作有界就行了）的變量，即知足：

$\displaystyle P(X_{i}\in [a_{i},b_{i}])=1$

　　那麼這n個隨機變量的經驗指望（均值）：

$\displaystyle \overline{X} = \frac{X_1+\cdots+X_n}{n}$

　　知足如下不等式：

$\displaystyle  P(\overline{X}-E(\overline{X})\ge t) \le \exp\left(- \frac{2t^2n^2}{\sum_{i=1}^{n}(b_i-a_i)^2}\right)$

$\displaystyle  P(|\overline{X}-E(\overline{X})|\ge t) \le 2 \exp\left(- \frac{2t^2n^2}{\sum_{i=1}^{n}(b_i-a_i)^2}\right)$

證實

　　對於$X_1,X_2,...,X_n$，$n$個相互獨立的隨機變量（wiki裏面說是兩兩獨立，我感受兩兩獨立$X_i$乘積的指望應該不能分離成指望的乘積，這裏我不太明確），$P(X_i\in [a_i,b_i])=1,1\le i\le n$，令

$\displaystyle S_n=\sum\limits_{i=1}^{n}X_i$

　　取$s>0,t>0$，由馬爾科夫不等式得：

$\begin{align*} P(S_n-E(S_n)\ge t) &= P(e^{s(S_n-E(S_n))}\ge e^{st})\\ &\le e^{-st}E(e^{s(S_n-E(S_n))}) \\ &= e^{-st}\prod\limits_{i=1}^{n}E(e^{s(X_i-E(X_i))}) \end {align*}$

　　再由引理得：

$ \begin{align*} P(S_n-E(S_n)\ge t) &\le e^{-st}\prod\limits_{i=1}^{n} e^{\frac{s^2(b_i-a_i)^2}{8}}\\ &=\exp(-st+\frac{1}{8}s^2\sum\limits_{i=1}^n(b_i-a_i)^2) \end {align*}$ 

　　到這一步，不等式中還多出了一個$s$，由於$\forall s>0$，都有以上不等式成立，所以取右邊關於$s$的二次函數的最小值。令

$\displaystyle g(s)=-st+\frac{1}{8}s^2\sum\limits_{i=1}^n(b_i-a_i)^2$

　　求$g'(s)=0$，得：

$\displaystyle  s = \frac{4t}{\sum_{i=1}^{n}(b_i-a_i)^2}$

　　因而：

$\displaystyle P(S_n-E(S_n)\ge t) \le \exp\left(- \frac{2t^2}{\sum_{i=1}^{n}(b_i-a_i)^2}\right)$

　　變換成$X_i$的均值$\overline{X}$，也就是：

$\displaystyle  P(\overline{X}-E(\overline{X})\ge t) \le \exp\left(- \frac{2t^2n^2}{\sum_{i=1}^{n}(b_i-a_i)^2}\right)$

　　取反後依然成立：

$\displaystyle  P(E(\overline{X})-\overline{X}\ge t) \le \exp\left(- \frac{2t^2n^2}{\sum_{i=1}^{n}(b_i-a_i)^2}\right)$

　　合到一塊兒：

$\displaystyle  P(|\overline{X}-E(\overline{X})|\ge t) \le 2 \exp\left(- \frac{2t^2n^2}{\sum_{i=1}^{n}(b_i-a_i)^2}\right)$

　　得證。