機率筆記10——矩估計和最大似然

估計

　　生活中咱們常常估計一些數值，好比從家到學校要走多久？一顆大白菜大概多少斤？憑什麼估計出具體數值呢？「估計」不是瞎猜，是根據已有數據計算的。從家到學校往返過屢次，手上也拿過無數顆白菜，此時咱們會憑藉心中的尺度計算出一個大約的數值。

矩估計

　　矩估計，即矩估計法，也稱「矩法估計」，是利用已有樣本估計指望值的一種方法。

　　某個問題的數學指望客觀存在的數學特徵，是一個具體的數值，只是這個數值計算起來須要知道一些「已知條件」，而這些已知條件在現實世界中並不可知。幸運的是，咱們能夠隨時獲得一些隨機樣本，利用這些樣本估計一個數值：

　　戴帽子的等號表示估計。每一個x_i都是一個簡單隨機樣本，而且咱們認爲每一個樣本都是等可能的，這其實是真實世界中一種不得已而爲之的辦法。在大數定律下的做用下，這個估計將會逐漸穩定，逼近真實值。

　　如今有甲、乙兩個射擊運動員站在咱們面前，他們的平均成績並無貼在身上，如何判斷他們的成績呢？

　　一個符合經驗的作法是讓他們各打10槍，而後計算均值。好比x_i是甲第i槍的成績，那麼咱們對甲的估計是(x₁+x₂+…+x₁₀)/10。這裏使用的是簡單的均值，並無任何機率參與，緣由是咱們並不知道甲打出每一環的機率，只好認爲是等權平均。數學指望是運動員的真實成績，咱們在計算數學指望時須要已知運動員打出每一環的機率，然而「已知」在並不老是存在於現實世界，所以才退而求其次，使用「估計」。

獨立同分布

　　獨立同分布是機率論中的一個概念，即一組數據彼此間互不干擾，在現實環境裏隨機出現。

　　獨立已經介紹過屢次，射擊比賽中的每一次射擊都是獨立的，不會由於本次的結果影響下一槍（拋開運動員心理狀態的變化）。若是是從一堆白球中取一個黑球，隨着白球的減小，下次取出黑球的機率會不斷變大，則不能稱每次的取球行爲相互獨立。

　　「同分布」的意思是每次都從特定的集合中取結果，好比擲骰子，每次都從1~6中取結果，則稱樣本是同分布。若是夾雜着幾個12面的骰子，則樣本不是同分布的。

未知的密度函數

　　在連續型變量中，只要咱們知道變量的概密度f(x)，就能夠知道它的指望：

　　問題是f(x)一般是未知的，只知道它的模型，但不肯定具體的模型參數。咱們設這個未知的參數是θ，機率密度是f(x;θ)，表示f受到θ的影響，數學指望公式：

　　實際上θ是一個向量，例如：

　　示例 設連續型隨機變量的機率密度是 ，求θ的矩估計量。

　　能夠先計算出X的矩估計：

　　只有0<x<1的時候才能計算θ：

最大似然

　　最大似然估計方法（Maximum Likelihood Estimate，MLE）也稱爲最大概似估計或極大似然估計，是創建在最大似然原理的基礎上的一種統計方法。

最大似然的含義

　　「似然」就是「可能性」的意思。咱們常常聽到「最大似然」，這個詞來源於實際，下圖解釋了它的含義。

　　A、B是兩個如出一轍的箱子，A中有100個白球和1個黑球，B中有100個黑球和1個白球。如今從兩個箱子中隨意取出一個小球，結果是黑球，這個黑球是從哪一個箱子中取出的？第一反應是「最有可能從B中取出的」，這符合一般的經驗。這裏的「最有可能」就是「最大似然」的意思。

似然和似然函數

　　假設有一個獨立同分布的數據集X，它的參數是θ。如今從X中取出一些樣本x={ x₁, x₂, …, x_n}，P(x;θ)表示給定參數θ時，從X中取得這些樣本x的可能性：

　　其中P(x;θ)相似於條件機率，但不等於條件機率，由於θ只是一個密度函數中的參數，並非一個事件。

　　假設如今θ有兩個取值θ₁和θ₂，對於X中的一些樣本x={ x₁, x₂, …, x_n}，若是P(x, θ₁ )> P(x, θ₂ )，就認爲θ₁對產生x的可能性（似然性）要大於θ₂，P(x, θ₁ )和P(x, θ₂)就是似然，是對參數θ產生樣本x的可能性的度量。

　　仍是以射擊爲例，假設按運動員的成績由高到低分爲一級、二級、三級，甲打出了10槍x={9,9,10,10,8,9,9.5,9.5,9.5,9}。運動員的級別至關於影響成績的參數θ，當θ等於一級時，甲打出這個成績的可能性較高。

　　如今須要根據給定樣本x來求P(x; θ)，因爲樣本是已知的，將全部x的值代入上面的公式，將獲得一個只有θ的式子，這個式子稱爲θ的似然函數，記爲L(x;θ)或L(θ)：

最大似然估計

　　知道了似然函數，最大似然估計就很容易理解了：對於一個給定的樣本集，挑選使得P(x;θ)可以達到最大時的參數 做爲θ的估計值，使得：

　　最終將求得θ的一個估值 ，在 時，似然函數的值最大。

　　極值點一般是在導數等於0的點取得，所以能夠經過下式求得θ：

　　若是θ是n維向量，則：

　　對於一些特殊的密度函數（好比指數密度函數）來講，直接求dL/dθ太過繁瑣，因爲L與lnL在同一θ處取到極值，因此也常用：

示例

示例1

　　設樣本的整體分佈率爲：P{X=x}=p^x(1-p)^1-x，求p在觀察樣本{ x₁, x₂, …, x_n }下的最大似然估計量。

　　

　　這裏只不過是把θ用p表示，如今咱們作一下替換，變成熟悉的形式：

　　L(θ)是θ的指數形式，換成對數更爲簡單：

　　根據對數的基本公式繼續計算：

示例2

　　整體樣本服從參數爲λ的指數分佈，{x₁, x₂, …, x_n}是觀察樣本，求λ的最大似然估計值。

　　整體樣本的機率密度是：

---

　　做者：我是8位的

　　出處：http://www.cnblogs.com/bigmonkey

　　本文以學習、研究和分享爲主，如需轉載，請聯繫本人，標明做者和出處，非商業用途！ 

　　掃描二維碼關注公做者衆號「我是8位的」