方差及常見分佈的方差計算與推導

文章目錄

• 1. 方差定義
• 2. 方差性質
• 3. 常見隨機變量分佈的方差
• 3.1 $(0-1)$分佈
• 3.2 二項分佈
• 3.3 泊松分佈
• 3.4 幾何分佈
• 3.5 超幾何分佈
• 3.6 均勻分佈
• 3.7 指數分佈
• 3.8 正態分佈
• 3.9 常見分佈的方差和指望彙總表

1. 方差定義

• 引言

  咱們知道，數學指望表示隨機變量的平均值，例如，有一批燈泡，其平均壽命是 $E(X)=1000$(小時)，可是僅有這一項指標並不能知道這批燈泡質量的好壞，若有可能大部分的壽命在 $950\sim1050$之間，也有可能其中約一半是高質量的，壽命可能在 $1300$小時左右，其他的則質量較差，壽命約只有 $700$小時，所以，研究隨機變量與其平均值的偏離程度是十分必要的，爲了度量這個偏離程度，咱們很容易想到 $E\{|X-E(X)|\}$ .因爲該式中帶有絕對值，運算不便，且有些時候絕對值不可導，不方便進行研究，所以，咱們用 $E\{[X-E(X)]^2\}$ 來度量隨機變量 $X$與其均值 $E(X)$的偏離程度。

• 定義

  設 $X$是一個隨機變量，若 $E\{[X-E(X)]^2\}$存在，則稱 $E\{[X-E(X)]^2\}$ 爲 $X$的方差. 記爲 $D(X)$或 $V_{ar}(X)$，即 $D(X)=V_{ar}(X)=E\{[X-E(X)]^2\}$

  在應用上還引入量 $\sqrt{D(X)}$，記爲 $\sigma(X)$，稱爲標準差或均方差

  實際上，根據方差的定義，方差和均值是有一個單位的問題的，如引言中燈泡的壽命，指望的單位爲‘小時’，方差的單位爲‘小時的平方’，引入標準差以後，標準差的單位則和指望的單位就保持一致了.

• 由定義可知，方差實際上是隨機變量 $X$的函數 $g(X)=[X-E(X)]^2$的數學指望,所以

  • 對於離散型隨機變量，有 $D(X)=\sum\limits_{k=1}^{\infty}[x_k-E(X)]^2p_k,$ 其中 $P\{X=x_k\}=p_k,\quad k=1,2,\cdots$ 是 $X$的分佈律
  • 對於連續型隨機變量，有 $\begin{aligned} D(X)=\int_{-\infty}^{+\infty}[x_k-E(X)]^2f(x)dx \end{aligned},$ 其中 $f(x)$ 是 $X$的機率密度。

• 在實際計算方差中，咱們每每使用 $D(X)=E(X^2)-[E(X)]^2.$

  證實：

  $\quad\begin{aligned} D(X)&=E\{[X-E(X)]^2\} = E\{X^2-2XE(X)+[E(X)]^2\} \\&= E(X^2)-2E(X)E(X)+[E(X)]^2\\&=E(X^2)-[E(X)]^2 \end{aligned}$

• 標準化

  設隨機變量 $X$具備數學指望 $E(X)=\mu$，方差 $D(X)=\sigma^2\neq0$ ,記 $X^*=\frac{X-\mu}{\sigma}$ , 則其指望爲 $\begin{aligned} E(X^*) = E(\frac{X-\mu}{\sigma}) = \frac{E(X)-E(\mu)}{E(\sigma)} = \frac{\mu-\mu}{\sigma} = 0 .\end{aligned}$ 方差爲 $\begin{aligned} D(X^*) &= E(\frac{X-\mu}{\sigma})^2 = \frac{E(X-\mu)^2}{\sigma^2} = \frac{E(X^2)+E(\mu^2)-2E(X)E(\mu)}{\sigma} \\&= \frac{E(X^2)-\mu^2}{\sigma^2} = \frac{E(X^2)-[E(X)]^2} {\sigma^2} \\&=\frac{D(X)}{\sigma^2} = \frac{\sigma^2}{\sigma^2} = 1.\end{aligned}$

  即 $X^*=\frac{X-\mu}{\sigma}$ 的數學指望爲 $0$，方差爲 $1$. $X^*$稱爲 $X$的標準化變量 .

2. 方差性質

• 設 $C$是常數，則 $D(C)=0$

  證實:

  $D(C)=E[C-E(C)]^2 = E(C^2)-[E(C)]^2 = C^2-C^2 = 0$

  根據方差的定義，方差表示隨機變量和指望的偏離程度，隨機變量恆爲一個常數，很明顯，不存在偏離，所以 $D(C)=0.$

• 設 $X$是隨機變量， $C$是常數，則有
  $1^o \quad D(CX)=C^2D(X)$

  證實:

  $D(CX)=E(C^2X^2)-[E(CX)]^2 = C^2E(X^2)-C^2[E(X)]^2 = C^2\{E(X^2)-[E(X)]^2\}=C^2D(X)$

  $2^o \quad D(X+C) = D(X)$

  證實：

  $\begin{aligned} D(X+C)&=E[(C+X)^2]-[E(C+X)]^2 = E[C^2+2CX+X^2]-[E(C)+E(X)]^2 = E(C^2)+2E(C)E(X)+E(X^2)-[E(C)]^2-2E(C)E(X)-[E(X)]^2\\&=E(X^2)-[E(X)]^2\\&= D(X) \end{aligned}$

• 設 $X,Y$ 是兩個隨機變量，則有 $D(X+Y)=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\}.$

  證實：

  $\quad\begin{aligned} D(X+Y) &= E[(X+Y)-E(X+Y)]^2 = E\{[X-E(X)]+[Y-E(Y)]\}^2 \\&=E[X-E(X)]^2+E[Y-E(Y)]^2+2E\{[X-E(X)][Y-E(Y)]\} \\&=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\} \end{aligned}$

  特別，若 $X,Y$相互獨立，則有 $D(X+Y)=D(X)+D(Y)$

  證實 ：

  $\quad\begin{aligned} D(X+Y) &= E(X+Y)^2-[E(X+Y)]^2 = E(X^2+Y^2+2XY) - [E(X)+E(Y)]^2 \\&=E(X^2)+E(Y^2)+2E(XY)-[E(X)]^2-[E(Y)]^2-2E(X)E(Y) \quad (1) \\&=D(X)+D(Y) + 2[E(XY)-E(X)E(Y))] \\&\because X,Y 相互獨立，\quad \therefore E(XY) = E(X)E(Y)\\ &=D(X)+D(Y) \end{aligned}$

  這一性質能夠推廣到任意有限多個相互獨立的隨機變量之和的狀況。

• $D(X)=0$的充要條件是 $X$以機率 $1$取常數 $E(X)$,即 $P\{X=E(X)\}=1.$

  證實：

  充分性，已知 $P\{X=E(X)\}=1$ ,則 $P\{X^2=[E(X)]^2\}=1 \quad \therefore E(X^2) = E[E(X)]^2 = [E(X)]^2 \quad \therefore D(X) = E(X^2)-[E(X)]^2 = 0$

  注意，這裏不能根據 $P\{X=E(X)\}=1$ 斷定隨機變量X爲一個常數 $C$， 緣由是離散型能夠得出這個結論，可是對於連續型，其選中有限個點以後，剩餘的點的機率仍爲1，可是這部分被選中的點的取值，不必定爲該常數 $C$。

  ---

  必要性，已知 $D(X)=0$ ,要證實 $P\{X=E(X)\}=1$ ,利用反證法，證實以下:

  假設 $P\{X=E(X)\}<1$,則對於某一個數 $\epsilon>0$，有 $P\{|X-E(X)|\geq\epsilon\}>0$ ，由切比雪夫不等式，對於任意的 $\epsilon>0$，有 $P\{|X-E(X)|\geq\epsilon\}\leq \frac{D(X)}{\epsilon}=0$ 與假設矛盾， $\therefore P\{X=E(X)\}=1$

3. 常見隨機變量分佈的方差

• 關於不一樣分佈的數學指望計算與推導，在文章數學指望及常見分佈的指望計算與推導中已經給出，這裏再也不重複證實，直接拿來使用。

3.1 $(0-1)$分佈

• 隨機變量 $X$服從 $(0-1)$分佈,則其分佈律爲 $P\{X=k\} = p^k(1-p)^{1-k}, \quad k=0,1$

  此時有 $D(X)=p(1-p)$ .

  證實：

  $\quad E(X)=p$

  $\quad E(X^2)=\sum\limits_{k=0}^{1}x_k^2p_k = 0^2\cdot p^0(1-p)^{1-0}+1^2\cdot p^1(1-p)^{1-1} = p$

  $\quad \therefore D(X) = E(X^2)-[E(X)]^2 = p-p^2=p(1-p)$

3.2 二項分佈

• $X\sim b(n,p)$ ,則其分佈律爲 $P\{X=k\} = \left(_k^n\right)p^kq^{n-k} \quad k=0,1,2\cdots, n$ ，此時有 $D(X)=np(1-p).$

  證實：

  $\quad E(X) =np$

  $\quad\begin{aligned}E(X^2) &= \sum\limits_{k=0}^{n}k^2(_k^n)p^kq^{n-k} =\sum\limits_{k=0}^{n}k^2\frac{n!}{k!(n-k)!}p^kq^{n-k}\\& = \sum\limits_{k=1}^{n}k\frac{n!}{(k-1)!(n-k)!}p^kq^{n-k}\\&= \sum\limits_{k=1}^{n}(k-1)\frac{n!}{(k-1)!(n-k)!}p^kq^{n-k}+\sum\limits_{k=1}^{n}\frac{n!}{(k-1)!(n-k)!}p^kq^{n-k} \\& = \sum\limits_{k=2}^{n}\frac{n!}{(k-2)!(n-k)!}p^kq^{n-k}+np\sum\limits_{k-1=0}^{n-1}\frac{(n-1)!}{(k-1)!(n-k)!}p^{k-1}q^{n-k} \\&= n(n-1)p^2\sum\limits_{k-2=0}^{n-2}\frac{(n-2)!}{(k-2)!(n-k)!}p^{k-2}q^{n-k}+np(p+q)^{n-1} \\&=(n^2p^2-np^2)(p+q)^{n-2}+np \\&=n^2p^2-np^2+np\end{aligned}$

  $\quad \therefore D(X) = E(X^2)-[E(X)]^2 = (n^2p^2-np^2+np)-(np)^2 = np-np^2 = np(1-p)$

3.3 泊松分佈

• $X\sim \pi(\lambda)$ ,則其分佈律爲 $P\{X=k\} = \frac{\lambda^k}{k!}e^{-\lambda} \quad k=0,1,2,\cdots$ ，此時有 $D(X)=\lambda.$

  證實：

  $\quad E(X) = \lambda$

  $\quad\begin{aligned}E(X^2) &= \sum\limits_{k=0}^{\infty}k^2\frac{\lambda^k}{k!}e^{-\lambda} = \sum\limits_{k=1}^{\infty}k\frac{\lambda^k}{(k-1)!}e^{-\lambda}\\&=\sum\limits_{k=1}^{\infty}(k-1)\frac{\lambda^k}{(k-1)!}e^{-\lambda}+\sum\limits_{k=1}^{\infty}\frac{\lambda^k}{(k-1)!}e^{-\lambda}\\&= \lambda^2\sum\limits_{k=2}^{\infty}\frac{\lambda^{k-2}}{(k-2)!}e^{-\lambda} + \lambda\sum\limits_{k=1}^{\infty}\frac{\lambda^{k-1}}{(k-1)!}e^{-\lambda} \\&= \lambda^2+\lambda \quad \end{aligned}\quad$

  $\quad \therefore D(X) = E(X^2)-[E(X)]^2 = (\lambda^2+\lambda)-(\lambda)^2 = \lambda$

3.4 幾何分佈

• $X\sim G(p)$ ,則其分佈律爲 $P\{X=k\} = (1-p)^{k-1}p \quad k = 1,2,3,\cdots$ ，此時有 $D(X)=\frac{1-p}{p^2}.$

  證實：

  $\quad E(X) = \frac{1}{p}$

  $\quad\begin{aligned} &E(X^2) = \sum\limits_{k=1}^{\infty}k^2(1-p)^{k-1}p = p\sum\limits_{k=1}^{\infty}k^2(1-p)^{k-1} \end{aligned}$
  $\quad$ 咱們在計算幾何分佈的數學指望時，引入了一個求導技巧，即

  $\quad當0<x<1時 且 k\to\infty， \sum\limits_{k=1}^{\infty}kx^{k-1} =(\sum\limits_{k=1}^{\infty}x^k)' =(\frac{x}{1-x})' = \frac{1}{(1-x)^2}\\\quad結合咱們的證實需求，該式中，x=1-p 爲常數，所以有x\sum\limits_{k=1}^{\infty}kx^{k-1} = x \frac{1}{(1-x)^2} \\\quad即 \sum\limits_{k=1}^{\infty}kx^{k} = x \frac{1}{(1-x)^2} ，此時有 \sum\limits_{k=1}^{\infty}k^2x^{k-1} = (\sum\limits_{k=1}^{\infty}kx^{k})' = [\frac{x}{(1-x)^2}]' = \frac{1+x}{(1-x)^3}$

  $\quad\therefore E(X^2) = p\sum\limits_{k=1}^{\infty}k^2(1-p)^{k-1} = p\frac{1+1-p}{[1-(1-p)]^3} = \frac{2-p}{p^2}$

  $\quad\therefore D(X) = E(X^2)-[E(X)]^2 = \frac{2-p}{p^2}-(\frac{1}{p})^2 = \frac{1-p}{p^2}.$

3.5 超幾何分佈

• $X\sim H(n,M,N)$ ,則其分佈律爲 $P\{X=k\} = \frac{(_k^M)(_{n-k}^{N-M})}{(_n^N)} \quad k= 0,1,\cdots,min\{n,M\}.$ ，此時有 $D(X)=n\frac{M}{N}(1-\frac{M}{N})(\frac{N-n}{N-1}).$

  證實：

  $\quad E(X) = n\frac{M}{N}$

  $\quad\begin{aligned} E(X^2) &= \sum\limits_{k=0}^{min\{n,M\}}k^2\frac{(_k^M)(_{n-k}^{N-M})}{(_n^N)} \\&=\sum\limits_{k=0}^{min\{n,M\}}k^2\frac{M!}{k!(M-k)!}(_{n-k}^{N-M})\frac{n!(N-n)!}{N!} \\&=\sum\limits_{k=1}^{min\{n,M\}}k\frac{M!}{(k-1)!(M-k)!}(_{n-k}^{N-M})\frac{n!(N-n)!}{N!}\\ &=\sum\limits_{k=1}^{min\{n,M\}}(k-1)\frac{M!}{(k-1)!(M-k)!}(_{n-k}^{N-M})\frac{n!(N-n)!}{N!}+\sum\limits_{k=1}^{min\{n,M\}}\frac{M!}{(k-1)!(M-k)!}(_{n-k}^{N-M})\frac{n!(N-n)!}{N!}\\&=\sum\limits_{k=2}^{min\{n,M\}}\frac{M(M-1)(M-2)!}{(k-2)!(M-k)!}(_{n-k}^{N-M})\frac{n!(N-n)!}{N!}+\sum\limits_{k=0}^{min\{n,M\}}k\frac{M!}{k!(M-k)!}(_{n-k}^{N-M})\frac{n!(N-n)!}{N!} \\&=M(M-1)\frac{n!(N-n)!}{N!}\sum\limits_{k=2}^{min\{n,M\}}(_{k-2}^{M-2})(_{n-k}^{N-M})+E(X)\\&=M(M-1)\frac{n!(N-n)!}{N!}(_{n-2}^{N-2})+n\frac{M}{N} \quad (範德蒙恆等式C_{m+n}^k = \sum\limits_{i=0}^{k}C_{m}^iC_{n}^{k-i})\\&=M(M-1)\frac{n(n-1)}{N(N-1)}+n\frac{M}{N} \\&=n\frac{M}{N}[\frac{(M-1)(n-1)}{N-1}+1] \end{aligned}$

  $\quad\begin{aligned} \therefore D(X) &= E(X^2)-[E(X)]^2 = n\frac{M}{N}[\frac{(M-1)(n-1)}{N-1}+1]-(n\frac{M}{N})^2 = n\frac{M}{N}(\frac{Mn-M-n+1+N-1}{N-1}-n\frac{M}{N})\\ &= n\frac{M}{N}\bigg[\frac{MNn-MN-Nn+N^2-MNn+Mn}{N(N-1)}\bigg] \\&= n\frac{M}{N}\bigg[\frac{N(N-M)-n(N-M)}{N(N-1)}\bigg] = n\frac{M}{N}\bigg[\frac{(N-M)(N-n)}{N(N-1)}\bigg]\\&= n\frac{M}{N}(1-\frac{M}{N})(\frac{N-n}{N-1}). \end{aligned}$

3.6 均勻分佈

• $X\sim U(a,b)$ ,則其機率密度爲 $f(x)=\begin{cases} \frac{1}{b-a},\quad a<x<b， \\ 0,\quad else \end{cases}.$ ，此時有 $D(X)=\frac{(b-a)^2}{12}.$

  證實:

  $\quad E(X) = \frac{a+b}{2}$

  $\quad\begin{aligned} E(X^2) &= \int_{-\infty}^{+\infty}x^2f(x)dx = \int_{-\infty}^{a}x^2\cdot0dx+\int_{a}^{b}x^2\frac{1}{b-a}dx+\int_{b}^{+\infty}x^2\cdot0dx\\&=0+(\frac{1}{3}\frac{1}{b-a}x^3)\bigg|_a^b+0 \\&=\frac{b^3-a^3}{3(b-a)} = \frac{a^2+b^2+ab}{3}\end{aligned}$

  $\therefore D(X) = E(X^2)-[E(X)]^2 = \frac{a^2+b^2+ab}{3}-(\frac{a+b}{2})^2 = \frac{(b-a)^2}{12}.$

3.7 指數分佈

• $X\sim E(\theta)$ ,則其機率密度爲 $f(x)=\begin{cases} \frac{1}{\theta}e^{-x/\theta},\quad 0<x， \\ 0,\quad else \end{cases} \quad (\theta>0).$ ，此時有 $D(X)=\theta^2.$

  證實：

  $\quad E(X) = \theta$
  $\quad \begin{aligned} E(X^2) &= \int_{-\infty}^{+\infty}x^2f(x)dx = \int_{-\infty}^{0}x^2\cdot0dx+\int_{0}^{+\infty}x^2\frac{1}{\theta}e^{-x/\theta}dx\\&=0+(-x^2e^{-x/\theta})\bigg|_0^{+\infty} -\int_{0}^{+\infty}-2xe^{-x/\theta}dx =2\int_{0}^{+\infty}xe^{-x/\theta}dx\quad (分部積分法)\\&=2\bigg[(-x\theta e^{-x/\theta})\bigg|_0^{+\infty})\bigg]-2\int_{0}^{+\infty}-\theta e^{-x/\theta}dx = 2\theta^2\int_{0}^{+\infty}\frac{1}{\theta} e^{-x/\theta}dx \\&= 2\theta^2 \quad (積分項 \int_{0}^{+\infty}\frac{1}{\theta} e^{-x/\theta}dx = F(\infty)-F(0) = 1)\end{aligned}$

  $\quad \therefore D(X) = E(X^2)-[E(X)]^2 = 2\theta^2 -(\theta)^2 = \theta^2.$

3.8 正態分佈

• $X\sim N(\mu,\sigma^2)$ ,則其機率密度爲 $f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} , \quad -\infty<x<+\infty.$ ，此時有 $D(X)=\sigma^2.$

證實：

$\quad E(X) = \mu$

$\quad \begin{aligned} E(X^2) &= \int_{-\infty}^{+\infty}x^2f(x)dx = \int_{-\infty}^{+\infty}x^2\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx \end{aligned}$

$\quad$令 $t = \frac{x-\mu}{\sigma},則 x = t\sigma+\mu$，另外咱們還知道 $\int_{-\infty}^{+\infty}e^{-\frac{t^2}{2}} dt=\sqrt{2\pi}$(連續型隨機變量及其常見分佈函數和機率密度 中有相關證實，不在贅述) ，則此時有

$\quad\begin{aligned} E(X^2) & =\int_{-\infty}^{+\infty}(t\sigma+\mu)^2\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{t^2}{2}}\sigma dt \\&=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}t^2\sigma^2e^{-\frac{t^2}{2}}dt+\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}2t\sigma\mu e^{-\frac{t^2}{2}}dt+\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}\mu^2e^{-\frac{t^2}{2}}dt \\&=\frac{\sigma^2}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}t^2e^{-\frac{t^2}{2}}dt+\frac{2\sigma\mu}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}te^{-\frac{t^2}{2}}dt+\frac{\mu^2}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}e^{-\frac{t^2}{2}}dt \\&= \frac{\sigma^2}{\sqrt{2\pi}}\bigg[(-te^{-\frac{t^2}{2}})\bigg|_{-\infty}^{+\infty}-\int_{-\infty}^{+\infty}-e^{-\frac{t^2}{2}}dt\bigg] + \frac{2\sigma\mu}{\sqrt{2\pi}}\bigg[-e^{-\frac{t^2}{2}}\bigg]\bigg|_{-\infty}^{+\infty}+ \frac{\mu^2}{\sqrt{2\pi}}\sqrt{2\pi}\\&=\frac{\sigma^2}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}e^{-\frac{t^2}{2}}dt + 0 +\mu^2\\&=\frac{\sigma^2}{\sqrt{2\pi}}\sqrt{2\pi}+\mu^2\\&=\sigma^2+\mu^2\end{aligned}$

$\quad\therefore D(X) = E(X^2)-[E(X)]^2 = \sigma^2+\mu^2 -(\mu)^2 = \sigma^2.$

證實方法二：

$\quad$隨機變量 $X$進行 標準化，令 $Z = \frac{X-\mu}{\sigma}$ ， 此時有 $f(z)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$ ，此時有

$\quad E(Z)=0$

$\quad\begin{aligned} E(Z^2) &= \int_{-\infty}^{+\infty}z^2f(z)dz = \int_{-\infty}^{+\infty}z^2\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}} \\&= \frac{1}{\sqrt{2\pi}}\bigg[(-ze^{-\frac{z^2}{2}})\bigg|_{-\infty}^{+\infty}-\int_{-\infty}^{+\infty}-e^{-\frac{z^2}{2}}dz\bigg]\\&=\frac{1}{\sqrt{2\pi}}\sqrt{2\pi} \\&= 1 \end{aligned}$

$\quad\begin{aligned}&\therefore D(Z) = E(Z^2)-[E(Z)]^2 = 1^2 -(0)^2 = 1. 即\\&D(\frac{X-\mu}{\sigma}) = \frac{1}{\sigma^2}D(X)=1\\&\therefore D(X)= \sigma^2\end{aligned}$

3.9 常見分佈的方差和指望彙總表

分佈	參數	分佈律或機率密度	數學指望	方差
$(0-1)$分佈	$0<p<1$	$P\{X=k\} = p^k(1-p)^{1-k}, \quad k=0,1$