統計學基礎之參數估計

目錄：

1、點估計

　　一、矩估計法

　　二、順序統計量法

　　三、最大似然法

　　四、最小二乘法

2、區間估計

　　一、一個整體參數的區間估計：

• 整體均值的區間估計
• 整體比例的區間估計
• 整體方差的區間估計　　　　

　　二、兩個整體參數的區間估計：

• 兩個整體均值之差的區間估計
• 兩個整體比例之差的區間估計
• 兩個整體方差比的區間估計　　

3、樣本量的肯定

　　一、估計整體均值時樣本量的肯定

　　二、估計整體比例時樣本量的肯定

---

 1、點估計

點估計是用樣本統計量來估計整體參數，由於樣本統計量爲數軸上某一點值，估計的結果也以一個點的數值表示，因此稱爲點估計。

點估計和區間估計屬於整體參數估計問題。何爲整體參數統計，當在研究中從樣本得到一組數據後，如何經過這組信息，對整體特徵進行估計，也就是如何從局部結果推論整體的狀況，稱爲整體參數估計。

由樣本數據估計整體分佈所含未知參數的真值，所獲得的值，稱爲 估計值。點估計的精確程度用置信區間表示。

當母羣的性質不清楚時，咱們須利用某一量數做爲估計數，以幫助瞭解母數的性質。如：樣本平均數乃是母羣平均數μ的估計數。當咱們只用一個特定的值，亦即數線上的一個點，做爲估計值以估計母數時，就叫作 點估計。

點估計目的是依據樣本X=(X一、X2…Xi)估計整體分佈所含的未知參數θ或θ的函數g(θ)。通常θ或g(θ)是整體的某個特徵值，如數學指望、方差、相關係數等。

一、矩估計法

利用樣本矩來估計整體中相應的參數。首先推導涉及感興趣的參數的整體矩（即所考慮的隨機變量的冪的指望值）的方程。而後取出一個樣本並從這個樣本估計整體矩。接着使用樣本矩取代（未知的）整體矩，解出感興趣的參數。從而獲得那些參數的估計。

最簡單的矩估計法是用一階樣本原點矩來估計整體的指望而用二階樣本中心矩來估計整體的方差。在尋找參數的矩法估計量時，對整體原點矩不存在的分佈如柯西分佈等不能用，另外一方面它只涉及整體的一些數字特徵，並未用到整體的分佈，所以矩法估計量實際上只集中了整體的部分信息，這樣它在體現整體分佈特徵上每每性質較差，只有在樣本容量n較大時，才能保障它的優良性,於是理論上講，矩法估計是以大樣本爲應用對象的。

若是整體中有 K個未知參數，能夠用前 K階樣本矩估計相應的前k階整體矩，而後利用未知參數與整體矩的函數關係，求出參數的估計量。

二、順序統計量法

順序統計量設是整體X的樣本，將它們自小到大排成，則這個排列稱爲樣本順序統計量。抽取一個樣本，便有一組自小到大的觀察值

與之相對應，其中

是觀察值中最小者，

是觀察值中最大者。 例如，樣本值爲3.15，2.98，3.16，3.05，2.90，則其順序統計量爲2.90，2.98，3.05，3.15，3.16  

順序統計量估計法 順序統計量估計法是直觀簡便的估計法，經常是對整體的數學指望與標準差進行。

設 爲整體X的樣本順序統計量，則稱 爲 樣本中位數。樣本中位數

的觀察值

的取值規則是：將樣本觀察值

自小到大排成順序統計量觀察值

，當n爲奇數(即n=2k+1)時，

取居中的數據

；當n爲偶數(n=2k)時，

取居中兩個數據的平均值

，即

從中位數的含義可見，它帶來了整體X取值的平均數信息，所以， 用於估計整體X的數學指望是合適的。用樣本中位數

估計整體X的數學指望的方法，稱數學指望E(X)的 順序統計量估計法。其結果也有估計量與估計值之分。

三、最大似然法

　　給定一個機率分佈D，假定其機率密度函數（連續分佈）或機率彙集函數（離散分佈）爲 f D，以及一個分佈參數θ，咱們能夠從這個分佈中抽出一個具備 n個值的採樣X1,X2,...,Xn，經過利用 f D，咱們就能計算出其機率： 。可是，咱們可能不知道θ的值，儘管咱們知道這些採樣數據來自於分佈D。如何估計θ？一個天然的想法是從這個分佈中抽出一個具備 n個值的採樣X1,X2,...,Xn，而後用這些採樣數據來估計θ。找到一個關於θ的估計。最大似然估計會尋找關於 θ的最可能的值（即，在全部可能的θ取值中，尋找一個值使這個採樣的「可能性」最大化）。這種方法正好同一些其餘的估計方法不一樣，如θ的非偏估計，非偏估計未必會輸出一個最可能的值，而是會輸出一個既不高估也不低估的θ值。要在數學上實現最大似然估計法，定義可能性：

而且在θ的全部取值上，使這個函數最大化。這個使可能性最大的值即被稱爲 θ的最大似然估計

四、最小二乘法

 

 

 觀測值就是咱們的多組樣本，理論值就是咱們的假設擬合函數。目標函數也就是在機器學習中常說的損失函數，咱們的目標是獲得使目標函數最小化時候的擬合函數的模型。舉一個最簡單的線性迴歸的簡單例子，好比咱們有m個只有一個特徵的樣本：

 

 

 

 樣本採用下面的擬合函數：。這樣咱們的樣本有一個特徵x，對應的擬合函數有兩個參數θ₀和θ₁須要求出。

目標函數爲：

 

 

 用最小二乘法作什麼呢，使J(θ₀,θ₁)最小，求出使J(θ₀,θ₁)最小時的θ₀和θ₁，這樣擬合函數就得出了。

參考：https://www.cnblogs.com/pinard/p/5976811.html

---

2、區間估計

區間估計是在點估計的基礎上，給出整體參數估計的一個區間範圍，該區間一般由樣本統計量加減估計偏差獲得。與點估計不一樣，進行區間估計時，根據樣本統計量的抽樣分佈能夠對樣本統計量與整體參數的接近程度給出一個機率度量

1、一個整體參數的區間估計：轉自：https://blog.csdn.net/liangzuojiayi/article/details/78043658

• 整體均值的區間估計

•  

   

• 整體比例的區間估計

•  

   

• 整體方差的區間估計

•  

   

   

   

  　　　　

二、兩個整體參數的區間估計：轉自：https://blog.csdn.net/liangzuojiayi/article/details/78044718

• 兩個整體均值之差的區間估計
大樣本

•  

   小樣本

•  

   

   

   

• 兩個整體比例之差的區間估計

•  

   

• 兩個整體方差比的區間估計

•  

   

   

   

---

3、樣本量的肯定 ： 轉自：https://blog.csdn.net/rosa_zz/article/details/79562794

•樣本容量：

樣本中個體的數目或組成抽樣整體的單位數。

•必要樣本容量：

亦稱必要樣本單位數，是指知足調查目的要求的狀況下，至少須要選擇的樣本單位數。

一、估計整體均值時樣本量的肯定

1.重複抽樣

一旦肯定了置信水平（1-α），Zα/2的值就肯定了，對於給定的的值和整體標準差σ，就能夠肯定任一但願的容許偏差所須要的樣本容量。令E表明所但願達到的容許偏差，即：

 

由此能夠推到出肯定樣本容量的公式以下：

 

2.不重複抽樣

 

•樣本容量n與整體方差成正比，

•與絕對偏差成反比，

•與機率度成正比。

例：擁有MBA學位的研究生年薪的標準差大約爲4000 元，假定想要估計年薪95%的置信區間，但願容許偏差爲10000 元，應抽取多大的樣本容量？

二、估計整體比例時樣本量的肯定

1.重複抽樣

一旦肯定了置信水平（1-α），Zα/2的值就肯定了。因爲整體比例的值是固定的，因此容許偏差由樣本容量來肯定，樣本容量越大容許偏差就越小。估計的精度就越好。所以，對於給定的的π值，就能夠肯定任一但願的容許偏差所須要的樣本容量。令E表明所但願達到的容許偏差，即：

 

由此能夠推導出重複抽樣和無限整體抽樣條件肯定樣本容量的公式以下：

 

2.不重複抽樣

 

•d的取值通常小於0.1

•π未知，以樣本比例p替代

•π或p都未知時，可取0.5，這是一種謹慎估計

例：某社區想經過抽樣調查瞭解居民參加體育活動的比率，若是把偏差範圍設定在5％，問若是以95％的置信水平進行參數估計，須要多大的樣本？

 

 肯定樣本容量的注意事項

1、在實際中採用不重複抽樣，但經常使用重複抽樣下的公式代替；

2、若和p未知，其處理方式是：

        1.用過去近期的數據代替，

        2.用樣本數據代替，

        3.取p=0.5或最接近0.5的值；

3、對同一整體，若求出的Nx，Np不等，這時取較大的做爲必要樣本容量，

        以同時知足作兩種調查的須要；

4、在實際工做中，常使用重複抽樣下的簡單隨機抽樣公式。