機會模型與顯著性檢驗（一）

平均數的偏差

上一篇文章介紹了一個機會過程抽得數之和的標準偏差SE是：

在從裝有標上數字的卡片的盒中做隨機有放回的抽取時，抽得數之和的標準偏差是：

                SquareRoot ( 抽取次數 ) ×（盒子的SD）

若要求出抽得數的平均數的SE也很簡單：

抽得的平均數的SE等於

              它們的和的SE / 抽取次數 = 盒子的SD / SquareRoot ( 抽取次數 )

經過它能夠估計抽得的平均數的變異性。注意，有時咱們是不知道盒子的SD的，能夠用樣本的SD來近似代替。

例如，對某砝碼的質量作100次測量，這些測量的平均數是（1kg + 715μg）， SD是 80μg，給出以下兩個問題：

（1）單次測量值可能偏離確切重量多少？

（2）全部100次測量的平均數可能偏離確切重量多少？

對問題（1）的回答是 80μg。由於SD衡量的就是平均而言單次測量相對於均值的偏離程度（這裏認爲 均值≈真值）。

對問題（2）的回答是 8μg。由於 平均數的SE = 盒子的SD / SquareRoot ( 抽取次數 ) = 80 / SquareRoot(100) = 8。

最終，測量人員能夠說：

    砝碼的質量以 68% 的置信度落在這個區間內：（1kg + 715μg）± 8μg    

或

    砝碼的質量以 95% 的置信度落在這個區間內：（1kg + 715μg）± 16μg    

而「置信」（Confidence）這個詞也提醒咱們：

機會存在於測量過程當中，而不是在被測量的事物中

能夠這樣理解這句話：

砝碼的質量是一個客觀存在的常量，不因測量手段的不一樣而變化，而且偏差是在測量過程當中被引入的。

機會模型

若是一個隨機場合可以抽象成從一個盒子中抽取的過程，咱們就能夠應用頻率理論對其進行研究。這個盒子模型也被稱爲機會模型或隨機模型。

機會模型有它的適用範圍：

若是整個期間數據呈現必定趨勢或規律模式，盒子模型不能應用。

下表給出中國在2004-2013年的城市化率：

這十年間中國城市化率穩定的上升，它不能被抽象爲盒子模型。從盒子中抽取的數有時上升，有時降低。

舉個散點圖的例子：

若是把每一個點看作一次抽取，x 值表明抽取的編號，y 值表明抽到的值，能夠看出散點具備明顯的規律性分佈，也即 y 與 x 具備相關性。例如，一國的城市化率與年份具備相關性、某地的月平均氣溫與月份具備相關性，此時用迴歸模型分析更合理。

一個盒子模型的統計數據看上去應該是這樣的：

或者是這樣的

顯然，每次抽取的值的機率分佈都是同樣的，並無由於是第1次抽取仍是第100次抽取而有所不一樣。

Z-檢驗

最好經過例子來講明，這是《統計學》書中的一道習題：

問：

一個公司最近採用了彈性時間工做制，但願該制度能提升員工的出勤率。爲了檢驗效果，管理層簡單隨機地抽取了100名員工做爲樣本，並對他們進行了跟蹤。一年下來，這些僱員平均缺勤 5.5 天，SD是 2.9 天。已知在彈性時間工做制實施以前員工平均缺勤 6.3 天，這可否說明該制度有效減小了缺勤率？仍是這個抽樣數據僅僅是一個機會變異？

答：

假設（1）：樣本平均缺勤率的減小由機會變異形成。

假設（2）：該制度有效減小了缺勤率。

把假設（1）稱爲【原假設】，把假設（2）稱爲【備選假設】。

若是將全公司員工的出勤狀況抽象成一個盒子模型，那麼原假設和備選假設都是對盒子模型的一種描述。他們是互斥的。

把 6.3 天稱爲【指望值】，把 5.5 天稱爲【觀察值】

缺勤平均數的SE = 盒子SD / SquareRoot(抽取次數) = 2.9 / 10 = 0.29

檢驗統計常量：

 Z = （觀察值 - 指望值）/ SE = （5.5 - 6.3） / 0.29 = -2.76 

該公式說明觀察值相對於指望值向左偏移了 2.76 個 SE。

若是原假設正確，這樣程度的偏移發生的機率約爲 0.3% （經過正態表可查得）。咱們認爲這個機率過小了，因此原假設是錯誤的，也即，新制度確實下降了缺勤率，它明確地反映在抽樣數據上，而且這不是一個機會變異。

答畢。

上題中求得的機率 0.3% 就是統計結果的【顯著性】，用 P 來表示。

若 P < 5%，咱們稱此結果爲統計顯著。

若 P < 1%，咱們稱此結果爲高度顯著。

不一樣的應用場合下，拒絕原假設的觸發條件不一樣，能夠是統計顯著，也能夠是高度顯著，甚至能夠是任何規定的條件。

上述檢驗過程是單樣本檢驗，樣本從同一個盒子抽取。若是兩個相互獨立且適當大的簡單隨機樣本取自兩個分開的盒子，對它們平均數之間差別的統計量作檢驗稱爲雙樣本Z-檢驗。

此時原假設稱這兩個盒子有相同的平均數，而備選假設稱兩個盒子均值的差別是顯著的。合適的檢驗統計量爲：

 Z = （均值1 - 均值2）/ 差的SE 

而兩個獨立隨機變量的差的標準偏差是 SquareRoot ( a^2 + b^2 )，其中 a 是第一個量的 SE，b 是第二個量的 SE。

其餘與單樣本檢驗相同。

附，標準正態表：

t-檢驗

當抽樣次數太少時（好比小於25次），Z檢驗將是不精確的，此時使用 t 檢驗。

使用 t 檢驗可分爲 3 個步驟：

（1）測量值較少時，用其 SD 去估計盒子的 SD 不夠精確，能夠對測量值的 SD 作一個偏大的修正：

盒子 SD ≈ SquareRoot [ 抽樣個數 / (抽樣個數 - 1) ] × 測量值的SD

（2）肯定統計的自由度：

自由度 = 抽樣個數 - 1

根據自由度選定 t 曲線。

（3）計算 P 值。

這一塊 t 檢驗與 Z 檢驗是同樣的。

 t = （觀察值 - 指望值）/ SE  

根據檢驗統計量 t 在對應的 t 曲線上查表獲得 P。

t-分佈能夠理解成是對正態分佈的近似，自由度越大就越接近正態分佈。

（上圖中藍色曲線爲正態分佈）。

附，t分佈表：

總結

1. 本文全部的討論都是基於機會模型（盒子模型），有規律的統計數據不適合抽象爲機會模型。

2. Z-檢驗 與 t-檢驗針對抽樣數據的均值作顯著性檢驗，可以反映出一些趨勢性的信息，爲決策提供支持。
   

3. 本文討論的顯著性檢驗都是單尾（Single Tail）檢驗，它反映均值偏向某一方向的趨勢大小。有時均值同時可能從兩個方向偏離指望值，既能夠大於指望值，也能夠小於指望值。例如，對於彈性時間工做問題，修改備選假設爲：新的制度可能下降平均缺勤率，也可能提升了它。此時 Z = -2.76 或 Z = 2.76 都將是高度顯著的。這就是雙尾檢驗。