數理統計11：區間估計，t分佈，F分佈

在以前的十篇文章中，咱們用了九篇文章的篇幅討論了點估計的相關知識，如今來稍做回顧。

首先，咱們討論了正態分佈兩個參數——均值、方差的點估計，給出了它們的分佈信息，並指出它們是相互獨立的；而後，咱們討論到其餘的分佈族，介紹了點估計的評判標準——無偏性、相合性、有效性；以後，咱們基於無偏性和相合性的討論給出了經常使用分佈的參數點估計，並介紹了兩種經常使用於尋找點估計量的方法——矩法與極大似然法；最後，咱們對點估計的有效性進行了討論，給出了一些驗證、尋找UMVUE的方法，並介紹了CR不等式，給出了無偏估計效率的定義。以上就是咱們在前九篇文章中提到的主要內容，還順便介紹了一些經常使用的分佈：\(\Gamma\)分佈、\(\beta\)分佈、\(\chi^2\)分佈。

今天開始，咱們將進入區間估計與假設檢驗部分。因爲本系列爲我獨自完成的，缺乏審閱，若是有任何錯誤，歡迎在評論區中指出，謝謝！

Part 1：什麼是區間估計

區間估計一樣是參數估計的一種方法，不一樣於點估計用樣本計算出的一個統計量直接做爲原始參數的估計，區間估計會根據抽取出的樣本，計算出一個基於樣本觀測值的區間。簡單說來，若是對整體\(f(x;\theta)\)中的參數\(\theta\)做估計，則首先從整體中得到樣本\(\boldsymbol{X}=(X_1,\cdots,X_n)\)，並肯定兩個具備肯定大小關係的統計量\(\hat g_1(\boldsymbol{X})\le \hat g_2(\boldsymbol{X})\)，根據樣本觀測值計算出的區間\([\hat g_1(\boldsymbol{X}),\hat g_2(\boldsymbol{X})]\)就是待估參數\(\theta\)的區間估計。

由此，咱們能夠看出，區間估計依然是依賴於統計量的，而且每每須要不止一個統計量。區間估計相比於點估計的特色是，區間估計給出了一個相對「粗糙」的範圍，這就致使你須要使用這個參數時，不像點估計同樣能直接把估計值拿來用；可是，區間估計具備涵蓋參數真值的可能，由於當參數空間\(\Theta\)的取值連續時，點估計\(\hat\theta\)與真值相等的可能性\(\mathbb{P}(\hat\theta=\theta)=0\)，可是區間估計包含真值的可能性\(\mathbb{P}(\theta\in[\hat g_1(\boldsymbol{X}),\hat g_2(\boldsymbol{X})])>0\)，這使得區間估計比起點估計而言，增長了必定的可靠性。

這麼說可能比較抽象，讓咱們舉一個實際的例子，還記不記得第一篇文章中yhh送咱們的橙子？廠家聲稱一箱子橙子的平均重量是80斤，而咱們稱量後發現橙子的平均重量是79.9斤，咱們不能說廠家的聲稱是錯誤的，由於點估計與真值相等的機率爲0。然而，咱們經過某種手段獲得了橙子重量的區間估計是\([79.5,80.5]\)斤，則你可能就會認爲，橙子的重量很可能就落在這個範圍內，與80斤相差不大，所以廠家的聲稱是能夠接受的。

區間估計還有另外一方面的可靠性。在上面的討論中，咱們獲得的點估計是79.9斤，若是換一箱橙子，它的重量不可能仍是79.9斤了。可是，新一箱橙子的重量多是70斤嗎？可能性有多大？多是80.1斤嗎？可能性又有多大？點估計沒法給出直觀的感覺，它只會讓你以爲，80.1斤的機率要比70斤大點兒。可是，若是咱們得到了這樣的一個區間估計：\([79.5,80.5]\)，則你就會以爲80.1斤出現的可能性比較大點，而70斤幾乎不可能出現。假如區間估計是\([60, 100]\)，則70斤和80.1斤就都頗有可能出現了。這就是區間估計帶來的好處，能讓咱們對預測的可能取值有更直觀的感覺。

除了這種雙側都用統計量表示的區間估計，還存在一種單側區間估計，即形如\((-\infty,u(\boldsymbol{X})]\)或者\([l(\boldsymbol{X}),+\infty)\)的區間估計。這通常表明咱們只關注參數的一側，而不關注另外一側，咱們稱這種區間估計爲單側區間估計。不過，這種區間估計不是咱們所要關注的重點。

Part 2：如何評價區間估計

最先接觸過的，用一個區間來表示估計範圍的，應該是高中所學的\(3\sigma\)原則：正態分佈的取值落在\([\mu-3\sigma,\mu+3\sigma]\)以外的機率小於0.01。雖然這並不是區間估計（務必注意這不是區間估計），但咱們也能據此來感覺區間估計的兩大評價指標：精度、可靠度。

精度用區間估計的平均長度來度量。爲何要加入「平均」二字呢？由於區間估計的上界和下界都是統計量，而統計量自身具備兩重性，故區間長度\(\hat g_2(\boldsymbol{X})-\hat g_1(\boldsymbol{X})\)也是一個隨機變量，其平均長度就是

\[\mathbb{E}[\hat g_2(\boldsymbol{X})-\hat g_1(\boldsymbol{X})]. \]

可靠度指的是待估參數\(\theta\)被包含在區間\([\hat g_1(\boldsymbol{X}),\hat g_2(\boldsymbol{X})]\)內的可能性，其量度不像精度那麼容易度量，這裏須要引入置信水平（置信度）與置信係數的概念。置信水平指的是\([\hat g_1(\boldsymbol{X}),\hat g_2(\boldsymbol{X})]\)包含待估參數\(\theta\)的機率，通常說來這個機率可能與\(\theta\)有關，在這種狀況下，置信係數則是置信水平在\(\theta\in\Theta\)上的下确界。這樣，即便置信水平是一個關於\(\theta\)的函數，置信係數也是一個\([0,1]\)之間的常數，不過咱們以後常常會取置信水平自己就是常數的區間做爲待估參數的區間估計。

顯然，精度和可靠度是相互制約的，若是樣本容量必定，精度低了可靠度就高，爲使置信係數達到\(1\)，這個區間估計通常是\(\mathbb{R}\)。咱們應當在精度和可靠度中相互權衡，來挑選合適的置信區間，爲此，常使用Neyman建議的方案：在保證置信係數達到指定要求的前提下，儘量提升精度。即，首先咱們須要對區間估計有一個預期的表現，在這個預期表現之下選擇平均長度最小的區間估計。固然，預期的表現要合理，不能要一個\(100\%\)包含待估參數的蠻橫要求，這樣區間估計就會很尷尬。現行的教材通常要求這個置信係數是\(95\%\)，將其通常化，能夠提出以下置信區間的概念。

設\([\hat \theta_1,\hat \theta_2]\)是參數\(\theta\)的一個區間估計，其中\(\hat\theta_1=\hat\theta_1(\boldsymbol{X})\)，\(\hat\theta_2=\hat\theta_2(\boldsymbol{X})\)。若對於給定的\(0<\alpha<1\)（常取\(\alpha=0.05\)），有

\[\mathbb{P}(\theta\in[\hat\theta_1,\hat\theta_2])\ge 1-\alpha,\quad \forall\theta\in\Theta, \]

則稱\([\hat\theta_1,\hat\theta_2]\)是\(\hat\theta\)的置信水平爲\(1-\alpha\)的置信區間，該區間的置信係數就是\(\inf\limits_{\theta\in\Theta}\mathbb{P}(\theta\in[\hat\theta_1,\hat\theta_2])\)。

我想，大多數讀者應該此前已經據說過置信區間這個名詞，只是不知道其官方定義是什麼。注意到，置信區間的定義是基於Neyman建議的，即首要條件是保證置信水平，儘量讓精度小（不必定須要）。若是\(\mathbb{P}(\theta\in[\hat\theta_1,\hat\theta_2])\)在\(\theta\in\Theta\)上是一個常數，則置信度就是置信係數，這也是咱們更常常處理的狀況。

對於單側區間估計的情形，咱們稱知足\(\mathbb{P}(\theta\in[\hat\theta_l,\infty))\ge 1-\alpha\)或\(\mathbb{P}(\theta\in(-\infty,\hat\theta_u])\)的單側置信區間端點\(\hat\theta_l,\hat\theta_u\)爲置信水平爲\(1-\alpha\)的置信限。也就是說，「限」即上限或下限，描述的是單側的置信區間。

這樣，咱們就把區間估計部分的基本概念給闡釋了一遍，但至於如何尋找區間估計，相信大多數讀者依然不明白。這沒有關係，閱讀以上的部分，你只要明白Neyman的建議，以及什麼叫置信區間、置信水平便可。

Part 3：\(t\)分佈和\(F\)分佈

在開始區間估計的尋找以前，咱們須要介紹正態分佈的另外兩個衍生分佈：\(t\)分佈和\(F\)分佈，它們在尋找正態分佈區間估計的過程當中會發揮重要的做用。

首先是\(t\)分佈。設隨機變量\(X\sim N(0,1)\)，\(Y\sim \chi^2(n)\)，且\(X\)和\(Y\)相互獨立，則

\[T\xlongequal{def}\frac{X}{\sqrt{Y/n}}\sim t(n), \]

其中\(n\)爲自由度。形式上，分子是標準正態隨機變量，分母是\(\chi^2\)變量除以其自由度並開根號，\(t\)分佈的自由度即\(\chi^2\)分佈的自由度。

書上提到，\(t(n)\)分佈的密度函數是

\[p_n(x)=\frac{\Gamma(\frac{n+1}{2})}{\Gamma(\frac{n}{2})\sqrt{n\pi}}\left(1+\frac{x^2}{n} \right)^{-\frac{n+1}{2}}, \]

這不是一個須要記憶的結論，證實也比較複雜，故在此不給出。

須要注意的是\(t\)分佈的一些性質：

1. \(t\)分佈關於原點對稱，即其密度函數是偶函數。

2. 隨着自由度\(n\)增大，\(t(n)\)分佈趨近於標準正態分佈。

3. 若\(T\sim t(n)\)，則\(\mathbb{E}(T^r)\)只有當\(r<n\)時存在。特別當\(n\ge 2\)時，

   \[\mathbb{E}(T)=0, \]

   當\(n\ge 3\)時，

   \[\mathbb{D}(T)=\frac{n}{n-2}. \]

   顯然其矩特徵隨着\(n\)增大，也趨近於\(N(0,1)\)的矩特徵。

4. 自由度爲\(1\)的\(t(1)\)分佈就是柯西分佈，密度爲

   \[p(x)=\frac{1}{\pi(1+x^2)}. \]

   其任意階矩不存在，經常使用於構造反例。

接下來介紹\(F\)分佈。設隨機變量\(X\sim \chi^2(m)\)，\(Y\sim \chi^2(n)\)，且\(X,Y\)相互獨立，則

\[F\xlongequal{def}\frac{X/m}{Y/n}\sim F(m,n), \]

其中\(m,n\)稱爲\(F\)分佈的自由度，分子的自由度在前，分母的自由度在後。一樣，\(F\)分佈具備一些經常使用的性質：

1. 若\(Z\sim F(m,n)\)，則\(1/Z\sim F(n,m)\)，這由定義顯然。
2. 若\(t\sim t(n)\)，則\(t^2\sim F(1,n)\)，這由定義顯然。

這樣，結合以前已經介紹過的\(\chi^2\)分佈，咱們就將正態分佈的三大衍生分佈介紹完畢了，儘管它們各自具備必定的性質，但其構造方式是最重要的。這三大分佈，均可以由正態分佈隨機變量構造而成（\(\chi^2\)變量也能夠視爲正態變量），結合正態分佈所自帶的變換性質，能夠呈現出各類各樣的變化。

好比，若是\(X_1,\cdots,X_n\)是從正態整體\(N(\mu,\sigma^2)\)所抽取的簡單隨機樣本，這裏\(\mu,\sigma^2\)未知，因此\(\bar X,S^2\)的分佈中確定都帶有未知參數，若是咱們想消除未知參數的影響，能夠參考正態分佈的標準化過程：\((U-\mu)/\sigma\sim N(0,1)\)構造出不含未知參數的統計量。

首先，因爲\(\bar X\sim N(\mu,\sigma^2/n)\)，因此

\[\frac{\sqrt{n}(\bar X-\mu)}{\sigma}\sim N(0,1), \]

又因爲

\[\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1), \]

因此有

\[\frac{\frac{\sqrt{n}(\bar X-\mu)}{\sigma}}{\sqrt{\frac{(n-1)S^2}{\sigma^2}/(n-1)}}=\frac{\sqrt{n}(\bar X-\mu)}{S}\sim t(n-1). \]

神奇的是，未知參數\(\sigma\)被消除了，因此咱們獲得了一個具備肯定分佈的統計量。這個方法，在下一篇文章中將發揮重要的做用，其餘的變換咱們也之後再展開。

---

本文的前兩個部分是區間估計的基本知識介紹，第三部分是正態分佈的另外兩個衍生分佈，在下一篇文章中，咱們將探索構造區間估計的方法。