機器學習-極大似然估計

  最大似然估計提供了一種給定觀察數據來評估模型參數的方法,即:「模型已定,參數未知」。簡單而言,假設咱們要統計全國人口的身高,首先假設這個身高服從服從正態分佈,可是該分佈的均值與方差未知。咱們沒有人力與物力去統計全國每一個人的身高,可是能夠經過採樣,獲取部分人的身高,而後經過最大似然估計來獲取上述假設中的正態分佈的均值與方差。函數

      最大似然估計中採樣需知足一個很重要的假設,就是全部的採樣都是獨立同分布的。下面咱們具體描述一下最大似然估計:post

      首先,假設爲獨立同分布的採樣,θ爲模型參數,f爲咱們所使用的模型,遵循咱們上述的獨立同分布假設。參數爲θ的模型f產生上述採樣可表示爲spa

回到上面的「模型已定,參數未知」的說法,此時,咱們已知的爲,未知爲θ,故似然定義爲 blog

  在實際應用中經常使用的是兩邊取對數,獲得公式以下:     博客

  其中稱爲對數似然,而稱爲平均對數似然。而咱們平時所稱的最大似然爲最大的對數平均似然,即:  class

     舉個別人博客中的例子,假若有一個罐子,裏面有黑白兩種顏色的球,數目多少不知,兩種顏色的比例也不知。咱們想知道罐中白球和黑球的比例,但咱們不能把罐中的球所有拿出來數。如今咱們能夠每次任意從已經搖勻的罐中拿一個球出來,記錄球的顏色,而後把拿出來的球 再放回罐中。這個過程能夠重複,咱們能夠用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一百次重複記錄中,有七十次是白球,請問罐中白球所佔的比例最有多是多少?不少人立刻就有答案了:70%。而其後的理論支撐是什麼呢?變量

    咱們假設罐中白球的比例是p,那麼黑球的比例就是1-p。由於每抽一個球出來,在記錄顏色以後,咱們把抽出的球放回了罐中並搖勻,因此每次抽出來的球的顏色服從同一獨立分佈。這裏咱們把一次抽出來球的顏色稱爲一次抽樣。題目中在一百次抽樣中,七十次是白球的機率是P(Data | M),這裏Data是全部的數據,M是所給出的模型,表示每次抽出來的球是白色的機率爲p。若是第一抽樣的結果記爲x1,第二抽樣的結果記爲x2... 那麼Data = (x1,x2,…,x100)。這樣,方法

P(Data | M)im

 = P(x1,x2,…,x100|M)d3

 = P(x1|M)P(x2|M)…P(x100|M)

 = p^70(1-p)^30.

那麼p在取什麼值的時候,P(Data |M)的值最大呢?將p^70(1-p)^30對p求導,並其等於零。

70p^69(1-p)^30-p^70*30(1-p)^29=0。解方程能夠獲得p=0.7。

在邊界點p=0,1,P(Data|M)=0。因此當p=0.7時,P(Data|M)的值最大。這和咱們常識中按抽樣中的比例來計算的結果是同樣的。

假如咱們有一組連續變量的採樣值(x1,x2,…,xn),咱們知道這組數據服從正態分佈,標準差已知。請問這個正態分佈的指望值爲多少時,產生這個已有數據的機率最大?

P(Data | M) = ?

根據公式

可得:

 

  對μ求導可得 ,則最大似然估計的結果爲μ=(x1+x2+…+xn)/n

      由上可知最大似然估計的通常求解過程:

  (1) 寫出似然函數;

  (2) 對似然函數取對數,並整理;

  (3) 求導數 ;

  (4) 解似然方程

注意:最大似然估計只考慮某個模型能產生某個給定觀察序列的機率。而未考慮該模型自己的機率。這點與貝葉斯估計區別。

相關文章
相關標籤/搜索