貝葉斯決策模型

今天給你們分享的是基於貝葉斯決策的分類的方法，這部份內容須要一些基本的機率論知識做爲基礎。貝葉斯決策的理論是比較簡單的，但對其進一步的分析(如錯誤率分析，由貝葉斯理論引伸出的更高級的算法) 則會難上許多，我也會盡量將這些部分一一涉及，因此這篇文章可能會連續更新數週，請你們見諒。

相關機率知識

在這裏我假設你們對於基本的機率知識以及有所瞭解，至少該知道什麼是機率 機率的一些基本性質等。這裏主要介紹條件機率和它的引伸公式。

條件機率

A,B兩個隨機事件，條件機率P(A|B)是事件B發生的狀況下事件A發生的機率，具體的公式是：

由這個公式又引伸出三個相關的公式：機率乘法公式、全機率公式、貝葉斯公式，正是這些公式構成了貝葉斯決策的基礎。咱們一個一個來看。

機率乘法公式

機率乘法公式由條件機率公式變化而來：

全機率公式

假設事件A由兩兩互斥的子事件A1，A2，...，An，而且A這個總體是個完整的事件，則對於事件B就有：

貝葉斯公式

進一步的，把機率乘法公式和全機率公式代入條件機率公式，就獲得了貝葉斯公式：

來自經驗的機率

在有了以上的知識以後咱們再來看看另外兩個容易混淆的概念，先驗機率和後驗機率。 假設咱們有一批樣本X，要求屬於wi類的機率：

先驗機率

P(wi) :先驗機率指的是根據實際存在的資料得出的機率，它徹底來自於以前知識和經驗的積累，與即將要分的類無關，但能夠提供相關的參考信息。

後驗機率

P(wi|X) :後驗機率與先驗機率相對應。它是經過對收到的樣本的統計信息所給出的某一類出現的機率。表明着樣本屬於這一類的機率。簡單的貝葉斯決策每每就是根據後驗機率來決策的.

條件機率

P(X|wi) :這裏，條件機率表明已知屬於wi類時樣本X發生某種事件的機率。咱們舉例來看，假設有某一項疾病，X表明基本的陰性或者陽性，w表明待查人羣(患病的和不患病的)。那麼先驗機率P(wi)表示這羣人中患病和不患病的機率(數據來源多是某次普查，或者是醫院積累的數據)，後驗機率P(wi|X)可能表示測試人羣中結果爲陽性的人本來也是患病的機率，條件機率P(X|wi)可能表明本來患病的人檢查出患病的機率。

而如何由條件機率和先驗機率求出後驗機率，這就是貝葉斯公式運用的問題了。

貝葉斯決策

聊完了機率，其實你們對貝葉斯決策的方法可能已經有點了解了，下面咱們直接給出2種最經常使用的決策模型。

最小錯誤率決策

顧名思義，這一決策規則就是將樣本分到錯誤可能性最小的那一類去。

上一節咱們提到了先驗機率和後驗機率，可是實際從資料收集的角度來看，先驗機率和類機率密度是最容易收集到的，因此咱們考慮用貝葉斯公式把後驗機率用類機率密度和先驗機率表示出來。

因爲網上大部分例子都是2分類的模型，這裏直接不加證實的給出多類狀況下的分類規則：

有人可能會問條件機率怎麼得到，一種辦法就是查詢條件機率密度曲線

最小風險決策

此種決策模型與最小錯誤率模型最大的區別就是，有些狀況下是不容許犯錯的，好比醫院的誤診斷，保險公司的誤決策等，這時候就須要對模型進行修改，一種方法就是對錯誤狀況加上權重懲罰，經常是以 如下表格的方式表現:

咱們最關注的的就是客觀異常 決策正常這一項，因此權值每每會比客觀正常 決策異常高，具體的比例能夠根據最後的錯誤率來調整。

這裏也是直接給出多類狀況下的分類模型：

暫時就先總結到這，我會慢慢補充完整