爲何樣本方差的分母是n-1?爲何它又叫作無偏估計?

 

爲何樣本方差的分母是n-1?最簡單的緣由,是由於由於均值已經用了n個數的平均來作估計在求方差時,只有(n-1)個數和均值信息是不相關的。而你的第n個數已經能夠由前(n-1)個數和均值 來惟一肯定,實際上沒有信息量。因此在計算方差時,只除以(n-1)。編程

 

那麼更嚴格的證實呢?請耐心的看下去。app

 


 

樣本方差計算公式裏分母爲的目的是爲了讓方差的估計是無偏的。機器學習

無偏的估計(unbiased estimator)比有偏估計(biased estimator)更好是符合直覺的,儘管有的統計學家認爲讓mean square error即MSE最小才更有意義,這個問題咱們不在這裏探討;不符合直覺的是,爲何分母必須得是而不是才能使得該估計無偏。學習


首先,咱們假定隨機變量的數學指望是已知的,然而方差未知。在這個條件下,根據方差的定義咱們有spa


由此可得
3d

 

 

 

所以blog

是方差的一個無偏估計,注意式中的分母不偏不倚正好是!這個結果符合直覺,而且在數學上也是顯而易見的。資源

如今,咱們考慮隨機變量的數學指望是未知的情形。這時,咱們會傾向於無腦直接用樣本均值替換掉上面式子中的。這樣作有什麼後果呢?後果就是,若是直接使用get

 

 

 

做爲估計,那麼你會傾向於低估方差!這是由於:深度學習

 

 

 

換言之,除非正好,不然咱們必定有

 

 

而不等式右邊的那位纔是的對方差的「正確」估計!這個不等式說明了,爲何直接使用

 

 

會致使對方差的低估。

那麼,在不知道隨機變量真實數學指望的前提下,如何「正確」的估計方差呢?答案是把上式中的分母n換成n-1,經過這種方法把原來的偏小的估計「放大」一點點,咱們就能得到對方差的正確估計了:

 

 


至於爲何分母是n-1而不是n-2或者別的什麼數,最好仍是去看真正的數學證實,由於數學證實的根本目的就是告訴人們「爲何」;暫時我沒有辦法給出更「初等」的解釋了。

更多機器學習、編程、AI相關知識,也歡迎關注個人公衆號「圖靈的貓」。關注公衆號,點擊「學習資料」菜單,便可得到海量機器學習、深度學習書籍等免費PDF資源~

相關文章
相關標籤/搜索