【機率論與數理統計】小結9-1 - 參數估計概述

注：在統計學的應用中，參數估計和假設檢驗是最重要的兩個方面。參數估計是利用樣本的信息，對整體的未知參數作估計。是典型的「以偏概全」。

 

0. 參數及參數的估計

---

參數是整體分佈中的參數，反映的是整體某方面特徵的量。例如：合格率，均值，方差，中位數等。參數估計問題是利用從整體抽樣獲得的信息來估計整體的某些參數或者參數的某些函數。

 

問題的通常提法

設有一個統計整體，整體的分佈函數爲$F(x, \theta)$，其中$\theta$爲未知參數。現從該整體取樣本$X_1, X_2, ..., X_n$，要依據樣本對參數$\theta$做出估計，或估計$\theta$的某個已知函數$g(\theta)$。這類問題稱爲參數估計。

 

參數估計分類

• 點估計，其中點估計又能夠分爲矩估計和最大似然估計；
• 區間估計

例如，估計降雨量：預計今年的降雨量爲550mm，這是點估計；預計今年的降雨量爲500 - 600mm，這是區間估計。

 

1. 點估計的評價

---

因爲存在不一樣的方法對整體中的未知參數進行估計，利用這些不一樣的方法獲得的估計值也不一樣。所以就涉及到如何評價不一樣估計量的好壞的問題。

經常使用的評價準則有如下四條：

• 無偏性準則
• 有效性準則
• 均方偏差準則
• 相合性準則

 

1.1 無偏性準則

無偏性是經過比較參數和參數估計量的指望來判斷的。

 

定義：若參數$\theta$的估計值$\hat{ \theta } = \hat{ \theta} (X_1, X_2, ..., X_n)$，知足

$$E(\hat{ \theta }) = \theta, $$

則稱$\hat{ \theta }$是$\theta$的一個無偏估計量。

若$E(\hat{ \theta }) \neq \theta$，那麼$|E(\hat{ \theta }) - \theta|$稱爲估計量$\hat{ \theta }$的誤差，若$\displaystyle \lim_{ n \to \infty } E(\hat{ \theta }) = \theta$，則稱$\hat{ \theta }$是$\theta$的漸進無偏估計量。

 

無偏性的統計意義：

無偏性的統計意義是指在大量重複試驗下，由$\hat{ \theta }(X_1, X_2, ..., X_n)$給出的估計的平均值剛好是$\theta$，從而無偏性保證了$\hat{ \theta }$沒有系統偏差。

圖1，無偏性

例如，工廠長期爲商家提供某種商品，假設生產過程相對穩定，產品合格率爲$\theta$，雖然一批貨的合格率可能會高於0,，或低於0，但無偏性可以保證在較長一段時間內合格率趨近於$\theta$，因此雙方互不吃虧。但做爲顧客購買商品，只有兩種可能，即買到的是合格產品或不合格產品，此時無偏性沒有意義。

 

1.2 有效性

若是兩種方法獲得的結果都是無偏估計，那麼這兩種方法怎麼區分好壞呢？這時候就能夠用到有效性了。有效性是根據方差來判斷估計值的好壞，方差較小的無偏估計量是一種更有效的估計量。

 

圖2，有效性

 

1.3 均方偏差

在實際應用中，均方偏差準則比無偏性準則更重要！

定義：設$X_1, X_2, ..., X_n$是從帶參數$\theta$的整體中抽出的樣本，要估計$\theta$. 若採用$\hat{\theta}$做爲參數$\theta$的點估計，則其偏差爲$\hat{\theta} - \theta$. 這個偏差隨樣本$X_1, X_2, ..., X_n$的具體取值而定，也是隨機的，於是其自己沒法取爲優良性指標. 咱們取它的平方以消除符號，而後取均值，可得估計量$\hat{\theta}$的均方偏差（偏差平方的平均），

$$E[(\hat{\theta} - \theta)^2], $$

記爲$Mse(\hat{\theta})$. 若$\hat{\theta}$是$\theta$的無偏估計，則有$Mse(\hat{\theta}) = D(\hat{\theta})$. 

均方偏差做爲$\hat{\theta}$偏差大小從總體角度的一個衡量，這個量越小，就表示$\hat{\theta}$的偏差平均來講比較小，於是也就越優. 由定義能夠看出來，均方偏差小並不能保證$\hat{\theta}$在每次使用時必定給出小的偏差，它有時也能夠有較大的偏差，但這種狀況出現的機會比較少.

一個例子:

用100個學生的平均成績做爲全校學平生均成績的估計，比起用抽出的第一個學生的成績去估計，哪一種方法更好？設整體服從正態分佈，這兩個估計分別是$\bar{X} = (X_1 + ... + X_{100})/100$和$X_1$，若是咱們分別計算這兩個估計量的均方偏差，可得

$$E[(\bar{X} - \mu)^2] = \sigma^2/100, E[(X_1 - \mu)^2] = \sigma^2$$

故$X_1$的均方偏差是$\bar{X}$的100倍（若是屢次隨機取樣每次取100個學生，那麼$X_1$多是任意一位學生，至關於隨機變量$X$；$\bar{X}$也多是任意100位同窗，至關於$\bar{X}$。比較能夠發現，此時求$Mse(\bar{X})$以及$Mse(X_1)$的公式其實就是求$X$和$\bar{X}$的方差的定義）。

 

1.4 相合性

相合性準則是根據「依機率收斂」的形式來定義的。這個形式與大數定律的形式相同，所以也能夠用「相合性」從估計的觀點來對大數定律做出解釋。

定義：設$\hat{\theta}(X_1, ..., X_n)$爲參數$\theta$的估計量，若對於任意$\theta$，當$n \to +\infty$時，

$\hat{\theta}_n \to \theta \ with \ probability \ p$，即$\forall \varepsilon \gt 0$, 有$\displaystyle \lim_{ n \to \infty } P(|\hat{\theta}_n - \theta| \geq \varepsilon) = 0 \quad \ldots $(1.4-1)

成立. 則稱$\hat{\theta}_n$爲$\theta$的相合估計量或一致估計量。

對於樣本均值來講，大數定律指出當樣本量足夠大時，樣本均值依機率趨近於整體均值，就至關於這裏的估計量$\hat{\theta}$依機率趨近於待估計參數$\theta$。也就是說，機率$P(|\hat{\theta}_n - \theta| \geq \varepsilon)$表示的是「當樣本大小爲n時，樣本均值$\bar{X}_n$這個估計值與真值$\theta$的偏離達到$\varepsilon$這麼大或更大」的可能性。式子1.4-1代表：隨着n的增長，這種可能性愈來愈小，以至趨於0.

 

1.5 相合性與漸進無偏性有什麼區別？

這兩個定義看起來差很少，很容易混淆。從形式上來看，漸進無偏性要求的是隨着樣本量的增長，估計量的指望趨近於被估計量；而相合性要求的是估計量自己趨近於被估計量。

若是估計量是收斂的，那麼這兩個定義幾乎是等同的。可是若是估計量是不收斂的，例如始終是${-1, 1}$這兩個數無限循環的數列，則被估計量的值剛好爲0，這時候知足了漸進無偏性的條件，可是並不知足相合性的條件。所以能夠說相合性比漸進無偏性的條件更加嚴格。知足了相合性就有極大的可能（由於相合性是依機率收斂，所以也不能說絕對知足）是知足漸進無偏性的，可是反過來卻不必定。

 

2. 再談統計量與樞軸量

---

歸納的說，統計量自己徹底是樣本的函數，自身不包含任何未知參數（樣本一旦肯定，統計量的值也就定下來了），可是其分佈卻每每包含未知參數；樞軸量偏偏相反，樞軸量自己就包含整體中的未知參數，可是其分佈的形式通常是肯定的，不包含未知參數。

 

2.1 統計量

前面的小結中已經屢次提到了統計量：小結7中對統計量作了基本說明，而且列出了經常使用的統計量，這些統計量能夠用來對整體中的未知參數進行點估計（例如用樣本均值估計整體均值）；小結8中提到的三大抽樣分佈都是統計量的分佈，這些統計量都是相互獨立且服從標準正態分佈的隨機變量的函數（例如n個上述隨機變量的平方和服從自由度爲n的卡方分佈）。

由上面的內容，能夠獲得統計量的一些特色：

• 統計量能夠用於對整體中的未知參數進行點估計；
• 有些統計量的分佈是明確的，例如「三大統計分佈」所表明的統計量；

 「三大抽樣分佈」都是統計量的分佈，這些統計量的分佈形式是明確的（有具體的數學公式，不包含未知參數），這也是爲何這三類分佈在統計學中如此重要的緣由之一。由於事實上大部分的統計量要麼很難肯定其分佈，要麼含有未知參數。

除此以外，統計量還有如下特色（參考wiki）：

• 可觀察性：事實上也就是說統計量不含有未知參數，一旦觀察的樣本肯定了，統計量的值也就肯定了（例如樣本均值、樣本方差、樣本矩等）；
• 便捷性：也就是具備某種歸納性，只用一個量就描述了大量樣本的某些重要特性（例如樣本均值）；
• 統計特性：完整性、一致性等；
• 分佈已知且用於假設檢驗的統計量（例如三大分佈所表示的統計量）也被稱爲檢驗統計量。

 

2.2 統計量 vs 整體參數

若是一個整體中的參數未知，例如全國人口的平均身高$\mu$，通常受限於時間或是人力物力咱們不可能測量整個整體來肯定這個參數的準確值。一般的作法是隨機抽取必定量的樣本（例如每一個省抽取總人口的1%），而後求這些樣本的平均身高（一個統計量），最後利用該統計量來估計整體中的未知參數。下面是wiki中的一個例子：

一個統計參數用於計算北美全部 25 歲的男性人口的平均身高。做爲採樣，咱們隨機地選擇了 100 名符合條件的人測量了身高；這 100 人的平均身高是比較容易被統計出來的，而所有符合條件的人的平均身高是很難統計的，除非把每一個人都拿來測量一遍身高。固然，若是普查了全部人，那麼計算獲得的數據則是統計參數（整體參數），而非統計量。

 

2.3 樞軸量

定義：設整體$X$有機率密度（或分佈律）$f(x; \theta)$，其中$\theta$是待估的未知參數。設$X_1, ..., X_n$是一個樣本，記：

$$G = G(X_1, ..., X_n; \theta)$$

爲樣本和待估參數$\theta$的函數，若是$G$的分佈已知，不依賴與任何參數，就稱$G$爲樞軸量。

由上述定義能夠看出樞軸量的幾個特色：

• 與某個待估參數有關（事實上樞軸量法主要被用於未知參數的區間估計）；
• 自己含有未知參數（待估參數），所以不具備「可觀察性」，也就是說即便選定了樣本也沒法計算出肯定的值；
• 其分佈是明確的（有具體的數學公式，不包含未知參數）。

一個比較常見的例子：均值或方差未知的正態分佈轉換成標準正態分佈時，隨機變量中仍是包含未知參數，可是其分佈中卻不包含任何未知參數。所以標準化以後的隨機變量是一個樞軸量。

通常正態分佈與標準正態分佈之間的關係： 當$X \sim N(\mu, \sigma)$時，$\frac{X - \mu}{\sigma} \sim N(0, 1)$. 參考小結4中，「正態分佈」部分的性質。

 

2.4 統計量 vs 樞軸量

再次比較一下這兩個量的異同：

• 樞軸量和統計量都是樣本的函數，可是樞軸量中還包含未知參數（待估計參數）；
• 樞軸量和統計量的分佈都是某種抽樣分佈，與樣本自己所屬的整體分佈不一樣；
• 樞軸量的分佈不依賴於任何未知參數，統計量的分佈常依賴於未知參數；
• 若是將樞軸量中的未知參數用某個已知的估計量替代，那麼樞軸量就變成統計量了；
• 統計量經常使用於點估計和假設檢驗；
• 樞軸量經常使用於區間估計。

問題：

整體$X \sim N(\mu, \sigma^2)$，$\mu, \sigma$是未知參數. 要估計參數$\mu$. 設$X_1, ..., X_n$是同樣本，請問下面三個量，

$$\bar{X}, \frac{\bar{X} - \mu}{\sigma/\sqrt{ n } }, \frac{\bar{X} - \mu}{S/\sqrt{ n } }$$

哪些是統計量？哪些是樞軸量？

答：

(1) 只有$\bar{X}$是統計量，另兩個含有未知參數，因此不是統計量；

(2) $\bar{X} \sim N(\mu, \sigma^2/n)$，分佈含有未知參數；

(3) 第二項中除了$\mu$以外，還含有其餘未知參數$\sigma$（不是樞軸量）；

(4) 第三項只是$\mu$和樣本的函數，服從$t(n - 1)$分佈（是樞軸量）。

從這個例子能夠看出來，咱們以前熟知的樣本均值$\bar{X}$是一個統計量，可是它的分佈是不明確的（含有未知參數）；第三項是一個樞軸量，自己含有未知參數，可是分佈是明確的。

 

 

歡迎閱讀「機率論與數理統計及Python實現」系列文章

 

Reference

---

https://zh.wikipedia.org/wiki/%E7%BB%9F%E8%AE%A1%E9%87%8F

http://blog.sciencenet.cn/blog-659252-924520.html

中國大學MOOC：浙江大學&哈工大，機率論與數理統計

《機率論與數理統計》，陳希孺，中國科學技術大學出版社