最大似然估計（MLE）與最大後驗機率（MAP）

• 何爲：最大似然估計（MLE）：

最大似然估計提供了一種給定觀察數據來評估模型參數的方法，即：「模型已定，參數未知」。能夠經過採樣，獲取部分數據，而後經過最大似然估計來獲取已知模型的參數。

最大似然估計是一種統計方法，它用來求一個樣本集的相關機率密度函數的參數。利用已知的樣本結果，反推最有可能（最大機率）致使這樣結果的參數值。

最大似然估計中採樣需知足一個很重要的假設，就是全部的採樣都是獨立同分布（i.i.d）的。

最大似然估計的通常求解過程：

　　（1） 寫出似然函數；

　　（2） 對似然函數取對數，並整理；

　　（3） 求導數 ；

　　（4） 解似然方程。

 

• 何爲：最大後驗機率（MAP）：

最大後驗估計是根據經驗數據得到對難以觀察的量的點估計。

與最大似然估計相似，可是最大的不一樣是，最大後驗估計融入了要估計量的先驗分佈在其中。

故最大後驗估計能夠看作規則化的最大似然估計。

 

• 什麼狀況下，MAP=ML？

當模型的參數自己的機率是均勻的，即該機率爲一個固定值的時候，兩者相等。

 

當先驗分佈均勻之時，MAP 估計與 MLE 相等。下圖是均勻分佈的一個實例。

咱們能夠看到均勻分佈給 X 軸（水平線）上的每一個值分佈相同的權重。直觀講，它表徵了最有可能值的任何先驗知識的匱乏。在這一狀況中，全部權重分配到似然函數，所以當咱們把先驗與似然相乘，由此獲得的後驗極其相似於似然。所以，最大似然方法可被看做一種特殊的 MAP。

 

【Reference】

[1] 從最大似然估計開始，你須要打下的機器學習基石

[2] Probability concepts explained: Maximum likelihood estimation