統計4:顯著性檢驗

在統計學中,顯著性檢驗是「假設檢驗」中最經常使用的一種,顯著性檢驗是用於檢測科學實驗中實驗組與對照組之間是否有差別以及差別是否顯著的辦法。html

一,假設檢驗

顯著性檢驗是假設檢驗的一種,那什麼是假設檢驗?假設檢驗就是事先對整體(隨機變量)的參數或整體分佈形式作出一個假設,而後利用樣本信息來判斷這個假設是否合理。函數

在驗證假設的過程當中,老是提出兩個相互對立的假設,把要檢驗的假設稱做原假設,記做H0,把與H0對立的假設稱做備擇假設,記做H1。假設檢驗須要解決的問題是:指定一個合理的檢驗法則,利用已知樣本的數據做出決策,是接受假設H0,仍是拒絕假設H0。spa

1,假設檢驗的基本思想code

假設檢驗的基本思想是小几率反證法思想。小几率思想是指小几率事件(P<0.01或P<0.05)在一次試驗中基本上不會發生。反證法思想是先提出原假設(記做假設H0),再用適當的統計方法肯定原假設成立的可能性大小:
若可能性小,則認爲原假設不成立;若可能性大,則認爲原假設是成立的。
 
2,假設檢驗的思路
假設檢驗思路是:先假設,後檢驗,通俗地
來講就是要先對數據作一個假設,而後用檢驗來檢查假設對不對。通常而言,把要檢驗的假設稱之爲原假設,記爲H0;把與H0相對對立(相反)的假設稱之爲備擇假設,記爲H1。
  • 若是原假設爲真,而檢驗的結論卻勸你拒絕原假設,把這種錯誤稱之爲第一類錯誤(棄真),一般把第一類錯誤出現的機率記爲α;就是說,拒絕真假設的機率是α。
  • 若是原假設不真,而檢驗的結論卻勸你接受原假設,把這種錯誤稱之爲第二類錯誤(取僞),一般把第二類錯誤出現的機率記爲β;就是說,接受假假設的機率是β。
所以,在肯定檢驗法則時,應儘量使犯這兩類錯誤的機率都較小。通常來講,當樣本容量固定時,若是減小犯一類錯誤的機率,則犯另外一類錯誤的機率每每增大。若是要使犯兩類錯誤的機率都減小,除非增長樣本容量。

二,顯著性檢驗

什麼是顯著性檢驗?在給定樣本容量的狀況下,咱們老是控制犯第一類錯誤的機率α,這種只對犯第一類錯誤的機率加以控制,而不考慮犯第二類錯誤的機率β的檢驗,稱做顯著性檢驗。機率α稱爲顯著性水平,顯著性水平是數學界約定俗成的,一般取值有α =5%,2.5%,1% ,表明着顯著性檢驗的結論錯誤率必須低於5%、2.5%和1%。在統計學中,一般把在現實世界中發生概率小於5%的事件稱之爲「不可能事件」。orm

通常狀況下,根據研究的問題,若是拒絕真假設的損失大,爲減小這類錯誤,α取值小些,把拒絕真假設的機率降到最低;反之,α取值大些。htm

在顯著性檢驗中,須要用到檢驗統計量,根據檢驗法則來肯定統計量,經常使用的統計量是Z統計量和t統計量。當檢驗統計量取某個區域C中的值時,拒絕原假設H0,則稱區域C爲拒絕域,拒絕域的邊界點稱爲臨界點。blog

顯著性檢驗一般分爲兩大類:臨界值法和p值法。事件

三,檢驗統計量

在統計學中,檢驗統計量是用於檢驗假設的參數是否正確的統計量,檢驗統計量服從一個給定的機率分佈。經常使用的檢驗統計量有t統計量、Z統計量和卡方統計量等。文檔

根據顯著性水平,確認檢驗統計量的拒絕域的臨界點,統計決策所依據的規則以下:get

(1)給定顯著性水平α,查表得出相應的臨界值
   
   
 
 
(2)將檢驗統計量的值與α水平的臨界值進行比較;若是檢驗統計量取拒絕域中的值,則拒絕原假設。

1,Z檢驗統計量

設統計量 Z,n爲樣本容量,μ0爲樣本均值,σ爲標準差,那麼Z服從標準正態分佈,即Z~N(0,1),這就是在假設檢驗中用到的Z檢驗統計量

經常使用於方差σ2已知,而均值μ未知的問題。

2,t檢驗統計量

設統計量t,那麼該統計量服從t分佈,即t~t(n-1),這就是假設檢驗中常常用到得t檢驗統計量。

經常使用於方差σ2未知,而均值μ已知的問題。

3,卡方檢驗統計量

設卡方統計量χ2,那麼該統計量服從卡方分佈,即χ2~χ2(n-1),這就是假設檢驗中常常用到得卡方檢驗統計量

4,F檢驗統計量

四,臨界法

使用臨界法處理參數的假設檢驗問題的步驟以下:

  • 根據實際問題的要求,提出原假設H0和備擇假設H1;
  • 給定顯著性水平 α 以及樣本容量n;
  • 肯定檢驗統計量的形式:構造檢驗統計量,收集樣本數據,計算檢驗統計量的樣本觀察值。
  • 肯定拒絕域的形式:按P{當H0爲真拒絕H0}<=α 求出拒絕域;
  • 根據樣本觀測值作出決策,是接受H0仍是拒絕H0。

五,顯著性檢驗的實例分析(使用臨界點法來檢驗假設)

某車間用一臺包裝機裝糖,袋裝糖的淨重是一個隨機變量,它服從正態分佈。當機器正常時,其均值爲0.5(kg),標準差爲 0.015(kg)。某日開工後,爲檢驗包裝機是否工做正常,隨機地抽取它所包裝的9袋糖,稱得淨重爲(kg)

0.497 0.506 0.518 0.524 0.498 0.511 0.520 0.515 0.512

問機器是否正常?

1,分析思路

μ,σ分別表示這一天袋裝糖的淨重整體X的均值和標準差。因爲長期實踐代表標準差比較穩定,設σ=0.015,因而X~N(μ, 0.0152),而整體的均值μ未知。

關鍵點:整體服從正態分佈,方差已知,而指望未知。

咱們假設整體的均值μ0=0.5,根據樣原本檢驗假設是否成立,即設 原假設   H0:μ=0.5     和    備擇假設  H1:μ!=0.5

因爲要檢驗的假設涉及到整體均值,那麼使用哪一個統計量來檢驗整體均值呢?答案是使用樣本均值,緣由主要是有如下兩個:

  • 樣本均值是整體均值μ的無偏估計,的觀察值的大小在必定程度上反映了μ的大小,
  • 若是原假設H0爲真,則觀察值與的 μ0的誤差|- μ| 通常不會太大;若是 |- μ| 過度大,就有理由懷疑假設H0的正確性而拒絕H0。

因此,考慮使用樣本均值來檢驗整體均值。

根據實際問題,選擇合適的統計量,選擇的標準是:無偏性、可計算差值

樣本的觀察值共有9個,用R很容易計算出樣本的均值=0.512,這個樣本均值是統計量。

> x <- c(0.497, 0.518, 0.524, 0.498, 0.511, 0.520, 0.515, 0.512)
> mean(x)
[1] 0.511875

因爲樣本的均值大於0.5,是否能夠判斷出今天的機器不正常?不能,這是由於計算的均值是經過抽樣獲取的,既然是樣本,就可能存在偏差,不能直接使用樣本的均值來做判斷。

也就是說:因爲作出決策的依據是一個樣本,當實際上H0爲真時,仍可能作出拒絕H0的決策,這種錯誤是沒法消除的。

教材是這樣說的:樣本是進行統計推斷的依據,在引用時,每每不是直接使用樣本自己,而是針對不一樣的問題構造樣本的適當函數,利用這些樣本的函數進行統計推斷。

你能看懂嗎,每一個字都認識,就是看不懂。

說人話:經過樣本計算的統計量是有偏差的,對本例而言,樣本的均值=0.512 是有偏差的,這種偏差是沒法消除。所以,不能直接使用樣原本檢驗假設。

敲黑板,劃重點:假定有一個整體數據,若是從整體中屢次抽樣,那麼理論上,每次抽樣所獲得的統計量(如指望)與整體參數(如指望)應該差異不大,大體圍繞在整體參數中心,呈正態分佈。就是說,樣本統計量和整體參數的差值呈正態分佈。

因爲沒法排除犯這類錯誤的可能性,所以,須要把犯這類錯誤的機率控制在必定限度以內,即給出一個較小的數 α (一般的取值有5%,2.5%,和1%),使犯這類錯誤的機率不超過α,即便得: P{ 當H0爲真時拒絕H0 } <= α,設 α=5%。

說人話:根據樣本計算出來的統計量服從必定的分佈,即抽樣分佈,根據抽樣分佈來計算機率。若是統計量的機率小於α,那麼接受H0,認爲原假設H0是正確的。

當計算樣本統計的機率時,須要用到檢驗統計量,檢驗統計量最好是差值,即樣本統計量和整體的相應統計量的差值,根據差值的分佈來檢驗假設。

本例使用Z統計量,Z統計量是樣本統計量的函數,服從N(0, 1),S是樣本標準差,n是樣本容量,μ0是整體均值

接下來就是根據顯著性水平α來肯定分位點,正態分佈是左右對稱的,因此分位點應該取機率的 α/2 處。

對於正態分佈,根據中心極限定理,假設整體均值爲0,若是屢次抽樣,每次抽樣獲得的均值都應該在0附近,若是偏離0太遠,那頗有可能並不是來自這個整體。

也就是說,Z統計量的機率低於α=5%,接受原假設H0,從圖中能夠得出最小的檢驗統計量的值 Zα/2=1.96,因爲可得檢驗統計量拒絕域是大於1.96或小於 -1.96

根據樣本的均值計算檢驗統計量的值是:2.4=(0.512-0.5)/(0.015/3),樣本的檢驗統計量位於拒絕域中,所以,拒絕原假設,認爲今天的機器有問題。

2,具體的步驟

step1,根據實際問題提出原假設H0和備擇假設H1

設常量:μ0=0.5,爲此,提出兩個對立的假設:

原假設   H0:μ=μ0

備擇假設  H1:μ!=μ0

step2,肯定檢驗統計量

由於要檢驗的假設涉及到整體均值 μ,因此,考慮藉助樣本均值  這一統計量來判斷整體的均值。

因爲 是μ的無偏估計,的觀察值的大小在必定程度上反映了μ的大小,所以,若是原假設H0爲真,則觀察值與的 μ0的誤差|- μ| 通常不會太大;若是 |- μ| 過度大,就有理由懷疑假設H0的正確性而拒絕H0。

考慮當H0爲真時,Z統計量服從N(0,1),即 Z ~N(0,1)

S是樣本的標準差,本例中S=σ=0.015。把Z做爲檢驗統計量,衡量|- μ| 的大小歸結爲衡量統計量Z的大小。

step2,肯定顯著性水平和樣本容量

設顯著性水平α=0.05,樣本容量n=9

step4:肯定拒絕域的形式

適當選定一正數k,使得當觀察值

就接受原假設H0,不然就拒絕原假設H0。

然而,因爲作出決策的依據是一個樣本,當實際上H0爲真時,仍可能作出拒絕H0得決策(這種可能性是沒法消除的),這是第一類錯誤,犯這類錯誤得機率記做:P{ 當H0爲真時拒絕H0 }

因爲沒法排除犯這類錯誤的可能性,所以,須要把犯這類錯誤的機率控制在必定限度以內,即給出一個較小的數 α (一般的取值有5%,2.5%,和1%),使犯這類錯誤的機率不超過α,即便得:

 P{ 當H0爲真時拒絕H0 } <= α

爲了肯定常數k,考慮使用統計量Z,因爲只容許犯這類錯誤的機率最大爲 α ,獲得以下等式:

因爲當H0爲真時,統計量Z~N(0,1),由標準正態分佈分位點的定義得 k=zα/2

若是Z的觀察值知足 |z|>=k=zα/2,則拒絕H0;若是|z|<k=zα/2,則接受H0。

step5,根據樣本觀測值作出決策

在本例中,α=0.05,則有k=zα/2 =k=z0.025=1.96,又已知n=9,σ=0.015,再由樣本值計算得=0.511,

那麼統計量Z的觀測值是:

因而拒絕H0,認爲這天包裝機工做不正常。

 

參考文檔:

假設檢驗

關於顯著性檢驗,你想要的都在這兒了!!(基礎篇)

顯著性檢驗

相關文章
相關標籤/搜索