MLE、MAP、貝葉斯三種估計框架

三個不一樣的估計框架。

MLE最大似然估計：根據訓練數據，選取最優模型，預測。觀測值D，training data；先驗爲P（θ）。

MAP最大後驗估計：後驗機率。

Bayesian貝葉斯估計：綜合模型。權重疊加。

 

Coin Toss Problem 扔硬幣問題

硬幣不均勻，P（H正面）=θ

若所投硬幣序列爲HHTHHT。

能夠看出，若由人直接感官判斷，正面機率爲2/3。這其中包含了MLE思想。

由MLE嚴格推導能夠得出正面機率確實爲2/3。

 

 MAP近似到MLE

當n足夠大時，先驗P（θ）能夠忽略。先驗自己不會隨着數據量增多而變化。

 

 

 邏輯迴歸+高斯先驗

P（θ）主要由

 

添加了高斯先驗時，等同於添加了L2正則。

添加了拉普拉斯先驗，等同於L1正則，會造成稀疏解。

 

LASSO：

 MLE：只根據訓練數據獲得模型，經過最優模型來預測。

MLE和MAP都是點估計。

 

MCMC：一種採樣方法。

貝葉斯模型很複雜，一般須要蒙特卡洛或變分法來求解。

Monte Carlo Simulation蒙特卡洛仿真

抽樣，近似。用在Bayesian中近似函數

 

 

---

先驗機率

後驗機率：D在後面，表示根據訓練數據得到更爲精確的P（θ）。

 L1正則更爲稀疏。