機率統計20——估計量的評選標準

　　對整體參數進行估計的方式多種多樣，爲了評判估計量的優劣，咱們須要藉助一些評選標準。

這些亂七八糟的符號

　　我以爲參數估計老是人爲地設計各類門坎，裏面參雜着各類符號，一下子是X，一下子是x；一下子是θ，一下子是θ(X)；還有諸如「整體參數」、「待估計參數」這類名詞，到底是幾個意思？

　　有必要先理清這些符號。

　　咱們用全國18~50歲的男性身高爲例，全部18~50歲的男性是整體。在機率統計中，當咱們說到整體，就是指一個具備特定機率分佈的隨機變量，這個隨機變量用X表示，X符合某某分佈。n表示整體的數量，假設這些男性有3億，那麼n就等於3億。在作統計的時候確定不能普查全部人，這樣成本也過高了，所以纔有抽樣。固然抽樣也有多種形式，好比均勻抽樣、拒絕抽樣等，這是另外的話題，在數據分析專欄中將陸續展開。

　　如今調查了100萬個符合條件的男性，這些男性就構成了「總體中的一個樣本」，用X₁, X₂, …, X_m表示，X_i表示樣本中的第i個男性，m是樣本的容量，m等於100萬。樣本中的每一個男性都有特定的身高，是一個具體的數值，這個值用小寫的x表示，x₁₀ = 176cm表示樣本中的第10個數據的值是176cm，此時X₁₀ = x­₁₀。這有點相似於P(X=x)的意思，X表示隨機變量自己，x表示某個特定的數值。

　　值得注意的是，若是用X₁, X₂, …, X_m表示樣本，則強調樣本是隨機的，是理論上的、還沒有誕生的樣本，樣本中的每一個數據都是一個隨機變量；若是用x₁, x₂, …, x_m表示樣本，則強調樣本中的隨機變量已經有了特定的取值，是已經擁有的樣本。

　　此外，n的值不必定很大，若是調查某個特定班級的平均身高，那麼n的值就只是這個班級的學生數，好比n=60。n也不必定是個肯定的值，好比從建國到如今全國人民一共消費了多少斤啤酒，沒有具體的數，只知道這個數大到沒邊。

　　如今咱們知道18~50歲的男性身高符合某個均值爲μ，方差爲σ²的正態分佈X~N(μ, σ²)，μ和σ²稱爲「整體的參數」，正是這兩個值決定了分佈的具體形態，用大Θ表示整體參數的集合。整體參數不止一個，這裏的μ和σ²都是整體的參數。θ是整體中的某一個參數，它能夠表明μ，也能夠表明σ²，有點變量的意思，可能用x比用θ更好理解，可是x已經被佔用了。此外，用表示樣本的均值，用S²表示樣本的方差。

　　如今θ的具體值是多少不知道，須要根據樣本X₁, X₂, …, X_m估計整體參數θ，具體估計量用表示。 表示是由具體的樣本X₁, X₂, …, X_m估計出來的， 僅僅是爲了強調這一點，至於怎麼估計是另外一回事。這也有點相似於y = y(x)，第一個y是個具體的數值，這個數值是由x決定的，第二個y是一個映射關係，至因而什麼映射關係是另外一回事。有時候也把m個樣本記做X = {X₁, X₂, …, X_m}，所以有了，若是用θ表示μ，就有了。這裏的X再也不是整體，而是來自於整體中的樣本，至於X究竟是整體仍是樣本，須要根據上下文肯定。

多個參數產生的問題

　　已知整體的均值是μ，方差是σ²>0，可是不知道兩者的具體數值，做爲補償，咱們擁有整體中m個數據樣本，X₁, X₂, ……,X_m。如今想要經過這些樣本估計整體的機率分佈模型，即經過樣本估計μ和σ²的具體數值。

　　已知整體有指望和方差兩個數字特徵，但不知道具體值，這比直接說啥也不知道強不了多少。

　　假設咱們已經使用直方圖之類的工具分析過樣本，或直接諮詢過領域內的相關專家，得知整體應當符合正態分佈，X~N(μ, σ²)。如今咱們能夠用多種方法估計μ和σ²？

　　點估計和連續性修正（機率統計17）中的介紹，樣本矩的估計量是：

　　一維正態分佈的最大似然估計（機率11）中，最大似然估計也能獲得相似的結論：

　　當m很大時，1/m和1/(m-1)的差距也很小，能夠認爲矩估計和最大似然估計的結論相等。咱們可否所以得出一個結論，說兩種估計法在任何分佈下獲得的結論都相同？

　　

　　仍是估計整體的均值和方差，此次從樣本的分析中得知，整體可能符合X~[a, b]的均勻分佈。

　　在再看大數定律（機率統計18）.中咱們已經知道均勻分佈的密度函數，從而求得均勻分佈的均值和方差：

　　使用矩估計求得樣本的均值和方差時，咱們將認爲樣本矩等於整體矩，從而獲得一個關於a和b的方程組，進而求得a和b的矩估計量：

　　這裏也能夠看出，矩估計的優勢就是簡單，無論整體服從什麼分佈，樣本矩的計算方法都同樣。

　　

　　如今來看均勻分佈下樣本的最大似然估計。

　　用x_min和x_max表示樣本值中最小的和最大的，對於X~[a, b]來講，全部樣本的取值都在a,b之間，即x_min ≥ a，x_max ≤ b，似然函數是：

　　以後的目標是根據樣本找到L(x;a,b)最大時a,b的取值：

　　這個結果和矩估計明顯不一樣。

 

 

　　如今的問題是，咱們分不出這兩個估計量的優劣。這就是咱們要面對的新問題。

 

　　咱們用 和表示兩種方案的估計量。對於不一樣的估計量，與真實值的差偏差也不一樣，沒法僅憑一個數值來評估估計量，而是使用一條曲線：

 

 

　　對於某些估計而言 ，對於另一些則可能相反。這就比如兩我的的考試成績，甲的語文成績比較好，而乙的數學成績更優秀。可否找出一個全優的學生呢？也就是對於總體中的所有參數，咱們都但願估得最佳結果，以使得根據樣本估計的分佈接近總體分佈。這是個美好的願望，隨着待估計參數的增長，找到全優學生的難度也急劇增大。所以爲了找出最優估計量，咱們必須添加一些額外的評判規則。這就涉及到如何評估估計量的問題。較爲經常使用的三個標準是無偏性、有效性和相合性。

無偏性

　　X₁, X₂, …, X_m­是來自於整體中的樣本，θ是整體分佈的參數，θ∈Θ，根據樣本能夠獲得θ的估計量：

　　若是的數學指望存在，且：

　　若是對於總體中的任意θ，上式都成立，則稱是θ的無偏估計量。

　　這究竟是啥意思？參數爲何能有指望？

無偏性的數學解釋

　　首先須要回顧第一節的內容，清楚地瞭解這些符號的真正含義。

　　設整體X的均值爲μ，方差是σ²>0，它們都是總體分佈的參數，且都是待估計的未知參數。既然μ和σ²都是和整體分佈有關的參數，它們天然均可以用θ表示，做爲估計量的也就表明了 。在這個例子中，「是θ的無偏估計」意味着：

　　若是使用矩估計，則根據再看大數定律（機率統計18）中的內容，樣本均值的指望與方差是：

　　這代表樣本均值是總體均值的無偏估計。

　　

　　樣本的方差是：

　　這裏之因此用X_i而不是x_i，是爲了強調樣本的隨機性，能夠簡單地理解爲計劃抽取一個隨機樣本，但尚未真正開始抽取。

　　

　　如今看看E[S²]是多少。

　　

　　根據方差的性質：

　　對於樣本中的任意一個隨機變量來講，方差和指望都相等：

　　此外：

　　最終：

　　上面的結論代表，樣本方差S²也是整體方差的無偏估計，這也附帶說明了樣本方差的係數是1/(m-1)的緣由，若是取1/m，則估計量沒法確保無偏性。

　　

　　從這個例子中也看出，不管整體符合什麼分佈，樣本均值都是總體均值的無偏估計，樣本方差也都是整體方差的無偏估計。

無偏性的意義

　　樣本X₁, X₂, …, X_m­是隨機的，所以根據這些樣本得出的估計量 也是隨機的，咱們已經屢次重申過這一點。既然是隨機的，那麼一個天然的結論是：根據樣本的不一樣，有些估計量可能偏大，有些可能偏小。反覆將這一估計量使用屢次，就「平均」來講其誤差爲零。

　　在科學技術中稱爲以做爲θ估計的系統偏差。無偏估計的實際意義就是無系統偏差。

 

　　既然如此，是否意味着無偏估計必定好呢？一般來說是的，但也不盡然，好比下圖中，有偏的甲明顯更優於無偏的乙。

不一樣的無偏估計量

　　設整體X服從指數分佈，機率密度爲：

　　其中參數θ未知，X₁, X₂, …, X_m­是來自X的樣本，根據指數分佈的性質：

　　所以樣本均值是參數θ的無偏估計量。

 

　　然而估計量不止一種，下面的mZ也是θ的無偏估計量：

　　Z具備機率密度：

　　可見一個未知參數可能有不一樣的無偏估計量。

有效性

　　同一個參數爲何會出現不一樣的無偏估計量呢？咱們能夠想象一個場景：任何人均可以估計明天的天氣，至因而否準確另當別論。一樣是估計天氣，氣象局的天氣預報顯然更準確。但就無偏性來講，普通人和天氣預報的平均誤差都爲0。這就比如甲乙二人的射擊比賽，甲的成績明顯高於乙，但無偏性卻告訴咱們兩者的成績相同，這顯然是荒謬的：

　　對於上圖來講，誰的成績越接近靶心，誰的成績就越好，這也正是有效性的基本邏輯。對於參數θ的兩個無偏估計量，誰和θ更靠近，誰就越好。一種天然的方式是比較不一樣的無偏估計量與θ之差的絕對值，可是絕對值不易處理，因而使用平方偏差法，這也是一種經常使用的較爲簡便的方式。若是對於總體中的任意θ，都有：

　　則稱比 有效。

　　再次強調的是，都是隨機值，所以才經過指望來去掉隨機性，進而比較兩者誰更有效：

　　另外一個值得關注的問題是，有效性還強調了對於任意θ∈Θ都成立。若是整體參數θ中包含兩個待估計變量，只有當方案1的兩個估計量所有優於方案2時，才能說方案1比方案2更有效。

　　對於上節的指數分佈來講：

　　所以比mZ更有效。

相合性

　　簡單而言，若是當樣本的容量增大時，估計量逐漸收斂於待估計參數的真實值，那麼稱是θ的相合估計量。

　　相合性是對一個估計量的基本要求，若是估計量不具備相合性，那麼不管樣本的容量有多大，都沒法將參數估計得足夠準確，這種估計已經有點近似於胡亂猜想。

優化的策略

　　有了評選標準以後，咱們就可使用一些優化策略，找出最優估計量。

　　無偏性爲估計量加上了限制，有了這條限制，大多數不太好的估計量會被排除。通過無偏性的篩選後，再使用有效性求得的最優解稱爲最小方差無偏估計量（uniformly minimum variance unbiased estimate，UMVUE）。

　　儘管咱們能夠經過減小候選項的方式找出最優解，但須要認清的事實是，找到任何狀況下都適用的全能最優解絕非易事。既然如此，不妨改變策略，弱化最優解的定義，只要知足相合性和漸進有效性，就認爲這個解是能夠接受的。

　　漸進有效性：當樣本容量n→∞時， 收斂於理論邊界。

　　最大似然估計就是這種策略下最經常使用的方案。

　　在最小方差無偏估計中，咱們其實是想找到總分最優的估計量，但這種方法假設全部參數都是平等的，並無爲參數分配恰當的權重。貝葉斯估計採用了另外一種思路應對這個問題。

　　不管最小方差無偏估計仍是最大似然估計，咱們都認爲待估計參數θ是個肯定的值，好比1949年10月1日中華人民共和國成立，這是一個明確的日期。而在貝葉斯估計中，把θ也看做一個變量，所求的是θ的分佈，也就是後驗分佈，若是後驗分佈較窄，則可信度較高，不然可信度較低。這相似於估計1949年10月1日中華人民共和國成立的機率是多少。貝葉斯估計的難點在於後驗機率的計算較爲複雜。關於更多先驗和後驗的問題將在後續章節陸續展開。

 

---

　　出處：微信公衆號 "我是8位的"

　　本文以學習、研究和分享爲主，如需轉載，請聯繫本人，標明做者和出處，非商業用途！ 

　　掃描二維碼關注做者公衆號「我是8位的」