理解極大似然估計(MLE)

極大似然估計學習時總會以爲有點難以想象，爲何能夠這麼作，什麼狀況才能夠用極大似然估計。本文旨在通俗理解MLE(Maximum Likelihood Estimate)。

 

1、極大似然估計的思想與舉例

舉個簡單的栗子：在一個盒子裏有白色黑色小球若干個，每次有放回地從裏面哪個球，已知抽到白球的機率可能爲0.7或者0.3，但不清楚，如今抽取三次，三次都沒有抽到白球，請問盒子中一次抽到白球的機率是多少？

這類栗子有一個共性，咱們假設白球的機率爲p，而後用它去計算已知發生的事情「三次都是黑球」使其發生的機率最大。已知p可能取值爲0.7或者0.3，那咱們兩個值分別計算三次抽取爲黑球的機率，誰的機率大咱們就認爲p的機率是多少。

p=0.3時，三次爲黑球的機率 P = 0.7*0.7*0.7 = 0.342

p=0.7時，三次爲黑球的機率 P = 0.3*0.3*0.3 = 0.027

可見p爲0.3時事件三次抽取都爲黑球發生的機率最大，因此咱們認爲盒子中取到白球的機率的極大似然估計爲0.3。

再舉個栗子：有兩個男孩和一個女孩，已知兩男孩中其中一個與女孩是兄妹，通過觀察發現男孩A與女孩有點像，男孩B與女孩不像，那咱們就會猜想男孩A和女孩是兄妹。

這就是用到了極大似然估計的思想，即忽略低機率，認爲高几率的爲真實事件，或者去估計真實事件。

 

對於連續的問題，仍是上面的小球例子，若是取到白球的機率爲一個區間值[0.3, 0.7]。

求解：假設取到取到白球機率爲p，則三次都爲黑球的事件機率

P = （1-p)^3

P對p求導得：P' = -3(1-p)^2

令P' = 0，得p = 1,  由於 p 在[0.3, 0.7]之間，p<1時，P' < 0， 故在 p < 1區間內，函數P單調遞減，因此p = 0.3時，P取到最大值。即事件發生的可能性最大，因此白球機率的極大似然估計爲0.3。

 

2、總結

經過以上的分析，能夠得出極大似然估計的一般解法，整體來講分爲如下幾步：
一、獲得所要求的極大似然估計的機率p的範圍
二、以p爲自變量，推導出當前已知事件的機率函數式Q(p)
三、求出能使得Q(p)最大的p
這樣便求出了極大似然估計值p