極大似然估計的應用

1、貝葉斯決策
        首先來看貝葉斯分類，咱們都知道經典的貝葉斯公式：

   　　　　　　 

        其中：p(w)：爲先驗機率，表示每種類別分佈的機率；p(x | w)爲類條件機率，表示在某種類別前提下，某事發生的機率；p(w | x)爲後驗機率，表示某事發生了，而且它屬於某一類別的機率，有了這個後驗機率，咱們就能夠對樣本進行分類。後驗機率越大，說明某事物屬於這個類別的可能性越大，咱們越有理由把它歸到這個類別下。

2、問題引出
        可是在實際問題中並不都是這樣幸運的，咱們能得到的數據可能只有有限數目的樣本數據，而先驗機率和類條件機率(各種的整體分佈)都是未知的。根據僅有的樣本數據進行分類時，一種可行的辦法是咱們須要先對先驗機率和類條件機率進行估計，而後再套用貝葉斯分類器。

        先驗機率的估計較簡單，一、每一個樣本所屬的天然狀態都是已知的（有監督學習）；二、依靠經驗；三、用訓練樣本中各種出現的頻率估計。

        類條件機率的估計（很是難），緣由包括：機率密度函數包含了一個隨機變量的所有信息；樣本數據可能很少；特徵向量x的維度可能很大等等。總之要直接估計類條件機率的密度函數很難。解決的辦法就是，把估計徹底未知的機率密度轉化爲估計參數。這裏就將機率密度估計問題轉化爲參數估計問題，極大似然估計就是一種參數估計方法。固然了，機率密度函數的選取很重要，模型正確，在樣本區域無窮時，咱們會獲得較準確的估計值，若是模型都錯了，那估計半天的參數，確定也沒啥意義了。

3、總結

最大似然估計的目的就是：利用已知的樣本結果，反推最有可能（最大機率）致使這樣結果的參數值。