數理統計5：指數分佈的參數估計，Gamma分佈，Gamma分佈與其餘分佈的聯繫

時間 2021-02-03

標籤函數學習 spa code 數學 class sed lambda 技巧欄目應用數學简体版

原文原文鏈接

今天的主角是指數分佈，由此導出\(\Gamma\)分佈，一樣，讀者應嘗試一邊閱讀，一邊獨立推導出本文的結論。因爲本系列爲我獨自完成的，缺乏審閱，若是有任何錯誤，歡迎在評論區中指出，謝謝！函數

Part 1：指數分佈的參數估計

指數分佈是單參數分佈族，整體\(X\sim E(\lambda)\)有時也記做\(\mathrm{Exp}(\lambda)\)，此時的整體密度函數爲學習

\[f(x)=\lambda e^{-\lambda x}I_{x>0}. \]

現尋找其充分統計量，樣本聯合密度函數爲spa

\[\begin{aligned} f(\boldsymbol{x})&=\lambda^n\exp\left\{-\lambda\sum_{j=1}^n x_j \right\}I_{x_1>0}\cdots I_{x_n>0}\\ &=\lambda^ne^{-n\lambda \bar x}I_{x_{(1)}>0}, \end{aligned} \]

由因子分解定理，取code

\[g(\bar x,\lambda)=\lambda^ne^{-n\lambda \bar x},\quad h(\boldsymbol{x})=I_{x_{(1)}>0}, \]

能夠獲得\(\bar X\)是\(\lambda\)的充分統計量。可是指數分佈的參數並不是均值，而是均值的倒數，因此對\(\bar X\)也有數學

\[\mathbb{E}(\bar X)=\mathbb{E}(X)=\frac{1}{\lambda}. \]

注意，千萬不要想固然地認爲指望和通常的函數之間是可交換的，即通常來講\(\mathbb{E}[f(X)]\ne f[\mathbb{E}(X)]\)，因此你不能認爲\(\bar X^{-1}\)就是\(\lambda\)的無偏估計量。it

每到此時，我就想舉對數正態分佈的例子：\(X\sim N(0,\sigma^2)\)，求\(e^{X}\)的指望。顯然有class

\[\begin{aligned} \mathbb{E}(e^{X})&=\int_{-\infty}^\infty e^x\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{x^2}{2\sigma^2} \right\}\mathrm{d}x\\ &=\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{x^2-2\sigma^2x}{2\sigma^2} \right\}\mathrm{d}x\\ &=e^{-\frac{\sigma^2}{2}}\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{(x-\sigma^2)^2}{2\sigma^2} \right\}\mathrm{d}x\\ &=e^{-\frac{\sigma^2}{2}}. \end{aligned} \]

最後一個等號處，積分是\(N(\sigma^2,\sigma^2)\)的密度函數全積分爲1。這說明sed

\[\mathbb{E}(e^{X})=e^{-\frac{\sigma^2}{2}}\ne 1=e^{\mathbb{E}(X)}. \]

~~一樣，也能告訴咱們股票的波動率越大，指望收益也越大~~。lambda

可是，用\(\bar X^{-1}\)老是有必定道理的，至少在量級上保持了跟待估參數的一致性。若是咱們要進行無偏調整，則須要求出\(\bar X\)的具體密度。不妨設\(T=\sum_{j=1}^n X_j\)，則\(T=n\bar X\)，若是咱們能求出\(T\)的分佈，也同樣能得出\(\bar X^{-1}\)的指望。技巧

Part 2：獨立同分布指數分佈之和與\(\Gamma\)分佈

爲求\(T\)的分佈，引入一個Jacobi行列式爲1的線性變換：

\[\left\{\begin{array}l Y_{1} = X_{1}, \\ Y_{2}=X_{2},\\ \vdots \\ Y_{n-1}=X_{n-1}, \\ Y_{n}=X_{1}+\cdots+ X_{n}. \end{array}\right. \]

則\((Y_{1},\cdots,Y_{n})\)的聯合密度函數爲

\[\begin{aligned} f_{Y}(\boldsymbol{y})&=f_X(y_{1},\cdots,y_{n-1},y_n-y_{n-1}-\cdots-y_1)\\ &=\lambda^n\exp\left\{-\lambda\left[\sum_{j=1}^{n-1}y_j+\left(y_n-\sum_{j=1}^{n-1}y_j \right) \right] \right\}I_{y_1>0}\cdots I_{y_{n-1}>0}I_{y_n>\sum_{j=1}^{n-1}y_j}\\ &=\lambda^n e^{-\lambda y_n}I_{y_1>0}\cdots I_{y_{n-1}>0}I_{y_n>\sum_{j=1}^{n-1}y_j}. \end{aligned} \]

接下來要依次對\(y_1,\cdots,y_{n-1}\)做積分，爲方便計，記

\[\mathcal B_k=y_n-\sum_{j=k}^{n-1}y_j,\quad k=1,2,\cdots,n-1,\\ \mathcal B_{k+1}-\mathcal B_{k}=y_k. \]

如今，\(y_1\)的積分範圍是\((0,y_n-y_{n-1}-\cdots-y_2)=(0,\mathcal B_2)\)，即

\[f_{Y_2,\cdots,Y_n}(y_2,\cdots,y_n)=\lambda^ne^{-\lambda y_n}\mathcal B_2I_{y_2>0}\cdots I_{y_{n-1}>0}I_{\mathcal B_2>0}. \]

再對\(y_2\)積分，其積分範圍是\((0,\mathcal B_3)\)，即

\[\begin{aligned} &\quad f_{Y_3,\cdots,Y_n}(y_3,\cdots,y_n)\\ &=\lambda ^ne^{-\lambda y_n}\int_{0}^{\mathcal B_3}\mathcal B_2\mathrm{d}y_2\\ &=\lambda^ne^{-\lambda y_n}\int_0^{\mathcal B_3}(\mathcal B_3-y_2)\mathrm{d}y_2\\ &=\lambda^n e^{-\lambda y_n}\cdot\frac{\mathcal B_3^2}{2}I_{y_3>0}\cdots I_{y_{n-1}>0}I_{\mathcal B_3>0}. \end{aligned} \]

繼續下去的步驟就很機械了，對\(y_3\)積分時積分範圍是\((0,\mathcal B_4)\)，因此

\[\begin{aligned} &\quad f_{Y_4,\cdots,Y_n}(y_4,\cdots,y_n)\\ &=\frac{1}{2}\lambda^n e^{-\lambda y_n}\int_0^{\mathcal B_4}[\mathcal B_4-y_3]^2\mathrm{d}y_3\\ &=\frac{1}{2}\lambda^n e^{-\lambda y_n}\int_0^{\mathcal B_4}[\mathcal B_4-y_3]^2\mathrm{d}(\mathcal B_4-y_3)\\ &=\frac{1}{2\cdot 3}\lambda^n e^{-\lambda y_n}\mathcal B_4^3I_{y_4>0}\cdots I_{y_{n-1}>0}I_{\mathcal B_4>0}. \end{aligned} \]

將這個過程一直進行下去，容易獲得

\[f_{Y_{n-1},Y_n}(y_{n-1},y_n)=\frac{1}{(n-2)!}\lambda^ne^{-\lambda y_n}\mathcal B_{n-1}^{n-2}I_{y_{n-1}>0}I_{y_n>y_{n-1}}, \]

進行最後一次積分就能獲得\(T\)的密度函數爲

\[f_T(x)=\frac{1}{(n-1)!}\lambda^ne^{-\lambda x}x^{n-1}. \]

這裏有一個稍微有點耍賴的技巧。若是你不想一個個積分，而又記住了指數分佈和的密度函數形式，則能夠用數學概括法驗證指數分佈和的密度函數恰有如此的形式。

讀者能夠自行用數學概括法計算一遍，這個計算量是比較小的。

一樣，咱們之後會常常跟這個密度函數打交道。由於階乘只適用於整數，將其解析延拓到\(\mathbb{R}^+\)上有\((n-1)!=\Gamma(n)\)，注意到其核爲\(e^{-\lambda x}x^{n-1}\)，對於任意\(n>0,\lambda >0\)，有

\[\int_0^{\infty}e^{-\lambda x}x^{n-1}\mathrm{d}x=\int_0^{\infty}\frac{1}{\lambda^n}e^{-\lambda x}(\lambda x)^{n-1}\mathrm{d}(\lambda x)=\frac{\Gamma(n)}{\lambda ^n}, \]

因此其正則化因子爲\(\frac{\lambda^n}{\Gamma(n)}\)。如今咱們能夠正式給出\(\Gamma\)分佈的定義：稱\(X\sim\Gamma(n,\lambda)\)，若是\(X\)具備以下的密度函數：

\[p(x)=\frac{\lambda^n}{\Gamma(n)}x^{n-1}e^{-\lambda x}. \]

當\(n\)爲整數時，\(\Gamma(n)=(n-1)!\)。同時，咱們獲得一個重要結論：若\(X_1,\cdots,X_n\stackrel{\mathrm{i.i.d.}}\sim E(\lambda)\)，則

\[T=\sum_{j=1}^n X_j\sim \Gamma(n,\lambda). \]

Tlst <- c()
for (i in 1:100000){
  Tlst[i] <- sum(rexp(5, 3))  # T爲5個E(3)樣本之和
}

plot(density(Tlst), main = "T的樣本密度", col = "blue", xlim = c(0, 6))
xlst <- seq(0, 6, 0.00001)
ylst <- dgamma(xlst, 5, 3)
lines(xlst, ylst, col = "red")

因爲\(\Gamma\)分佈核函數的特色，其指望和方差也是容易求出的。現設\(X\sim \Gamma(n)\)，則

\[\mathbb{E}(X)=\int_0^{\infty}\frac{\lambda^n}{\Gamma(n)}x^ne^{-\lambda x}\mathrm{d}x=\frac{\Gamma(n+1)}{\lambda\Gamma(n)}\int_0^{\infty}\frac{\lambda^{n+1}}{\Gamma(n+1)}x^{n+1-1}e^{-\lambda x}\mathrm{d}x=\frac{n}{\lambda}. \]

這說明\(n\)越大\(X\)的指望越大，\(\lambda\)越大\(X\)的指望越小，若是將其視爲獨立指數分佈的和也能獲得這個結論。

\[\mathbb{E}(X^2)=\frac{\Gamma(n+2)}{\lambda^2\Gamma(n)}=\frac{n(n+1)}{\lambda^2},\\ \mathbb{D}(X)=\mathbb{E}(X^2)-[\mathbb{E}(X)]^2=\frac{n}{\lambda^2}. \]

如今回到正題，計算指數分佈均值倒數\(\bar X^{-1}\)的指望，先計算\(T^{-1}\)的指望，容易計算獲得

\[\mathbb{E}(T^{-1})=\int_0^{\infty}\frac{\lambda ^n}{\Gamma(n)}x^{n-2}e^{-\lambda x}\mathrm{d}x=\frac{\lambda\Gamma(n-1)}{\Gamma(n)}=\frac{\lambda}{n-1}, \]

所以天然有

\[\mathbb{E}\left(\frac{1}{\bar X} \right)=\mathbb{E}\left(\frac{n}{\bar X} \right)=\frac{\lambda n}{n-1}. \]

所以，\(\bar X^{-1}\)只是\(\lambda\)的漸進無偏估計，能夠對它通過無偏處理獲得無偏估計：

\[\hat\lambda(\boldsymbol{X})=\frac{n-1}{n\bar X}. \]

下面進行\(\hat \lambda\)的有偏估計、無偏估計的模擬計算，從指數分佈\(E(2)\)中抽樣。爲了體現出區別，圖中的每個點都是100個估計量的平均值。

rm(list = ls())
unbiased_estimator <- c()
biased_estimator <- c()
for (j in 1:100){
  meanlst <- c()
  for (i in 1:100){
    samples <- rexp(10, 2)  # 每次產生10個樣本計算均值
    meanlst[i] <- 1/mean(samples)
  }
  biased_estimator[j] <- mean(meanlst)
  unbiased_estimator[j] <- 9/10*biased_estimator[j]
}

split.screen(c(1, 2))
screen(1)
plot(biased_estimator, main = "有偏估計", ylim = c(1.5, 2.5))
abline(h = 2, col = "blue")

screen(2)
plot(unbiased_estimator, main = "無偏估計", ylim = c(1.5, 2.5))
abline(h = 2, col = "blue")

Part 3：\(\Gamma\)分佈與其餘分佈

\(\Gamma\)分佈與許多分佈具備緊密的聯繫（中心極限定理這種與正態分佈的聯繫就不說了）。與指數分佈的聯繫是顯然的：\(\Gamma(1,\lambda)\)就是\(E(\lambda)\)，這點從上面的推導能夠得出。

須要注意一點：指數分佈的參數是其尺度參數。什麼意思呢？對於\(X\sim E(\lambda)\)，它的分佈函數是\(F(x)=1-e^{-\lambda x}\)，對其做伸縮變換\(aX\)，有

\[F_{aX}(x)=\mathbb{P}(aX<x)=F\left(\frac{x}{a} \right)=1- e^{-\frac{\lambda x}{a}}, \]

對比\(F(x)\)的形式，發現\(aX\sim E(\lambda /a)\)，這就表明伸縮變換不改變指數分佈的性質，因此說指數分佈的參數是其尺度參數。既然\(\Gamma\)分佈是指數分佈的直接推廣，則\(\Gamma\)分佈也具備這樣的性質：若\(X\sim \Gamma(n,\lambda)\)，則

\[aX\sim \Gamma\left(n,\frac{\lambda }{a} \right). \]

這樣的變換不改變數量參數\(n\)，這也是指數分佈中獲得的直接推廣結論。

還記得正態分佈的衍生分佈——\(\chi^2(n)\)分佈嗎？以前，由於卡方分佈的密度函數過於複雜，很差記憶，因此咱們跳過了，但瞭解過\(\Gamma\)分佈的密度函數後再回看卡方分佈，就會有一種熟悉感。

對於\(X\sim \chi^2(n)\)，其密度函數爲

\[p(x)=\frac{1}{2^{n/2}\Gamma(n/2)}x^{\frac{n}{2}-1}e^{-\frac{x}{2}}, \]

能夠看到，它的核恰好是\(e^{-x}\)的某次方，乘以\(x\)的某次方形式，前面的正則化係數由核決定，所以，\(\chi^2(n)\)分佈本質上也是\(\Gamma\)分佈的一種特例，即

\[X\sim \Gamma\left(\frac{n}{2},\frac{1}{2} \right). \]

這樣，再記憶\(\chi^2(n)\)分佈的密度函數就會顯得容易一些了。另外，若是\(2n\)是整數，也能夠經過\(\Gamma\)分佈的伸縮變換將其變成卡方分佈：

\[X\sim \Gamma(n,\lambda)\Rightarrow 2\lambda X\sim \Gamma\left(n,\frac{1}{2} \right)=\chi^2(2n),\\ X\sim E(\lambda)\Rightarrow 2\lambda X\sim \chi^2(2). \]

最後，因爲咱們接下來要進入離散分佈的參數估計，在這裏也給出一個\(\Gamma\)分佈與泊松分佈的聯繫，這個聯繫在隨機過程當中會發揮必定的做用，其證實在數理統計中倒不是特別重要。

若\(N\)定義爲知足下列條件的\(n\)值：\(X_1,X_2,\cdots\stackrel{\mathrm{i.i.d.}}\sim E(\lambda)\)，

\[\sum_{j=1}^n X_j\le 1<\sum_{j=1}^{n+1}X_j \]

則\(N\sim P(\lambda)\)。

下面給出這個定理的證實，其中的思想能夠學習。

設\(\sum_{j=1}^k X_j\)的密度函數爲\(p_k(x)\)，則因爲\(\sum _{j=1}^k X_j\sim \Gamma(k,\lambda)\)，因此

\[p_k(x)=\frac{\lambda^k}{\Gamma(n)}x^{k-1}e^{-\lambda x}. \]

由全機率公式（連續形式），

\[\begin{aligned} &\quad \mathbb{P}(N=k)\\ &=\mathbb{P}\left(\sum_{j=1}^kX_i\le 1,\sum_{j=1}^{k+1}X_i>1 \right)\\ &=\int_0^1\mathbb{P}\left(\sum_{j=1}^{k+1} X_j>1\bigg|\sum_{j=1}^k X_i=x \right)p_k(x)\mathrm{d}x\\ &=\int_0^1\mathbb{P}(X_{k+1}>1-x)p_k(x)\mathbb{d}x\\ &=\int_0^1e^{-\lambda {(1-x)}}\frac{\lambda^k}{(k-1)!}x^{k-1}e^{-\lambda x}\mathrm{d}x\\ &=\frac{\lambda^k e^{-\lambda}}{(k-1)!}\int_0^1 x^{k-1}\mathrm{d}x\\ &=\frac{\lambda^k}{k!}e^{-\lambda}. \end{aligned} \]

這是泊松分佈的分佈列，故\(N\sim P(\lambda)\)。