貝葉斯概念

1.貝葉斯法則

機器學習的任務：在給定訓練數據D時，肯定假設空間H中的最佳假設。

最佳假設：一種方法是把它定義爲在給定數據D以及H中不一樣假設的先驗機率的有關知識下的最可能假設。貝葉斯理論提供了一種計算假設機率的方法，基於假設的先驗機率、給定假設下觀察到不一樣數據的機率以及觀察到的數據自己。

2.先驗機率和後驗機率

用P(h)表示在沒有訓練數據前假設h擁有的初始機率。P(h)被稱爲h的先驗機率。先驗機率反映了關於h是一正確假設的機會的背景知識若是沒有這一先驗知識，能夠簡單地將每一候選假設賦予相同的先驗機率。相似地，P(D)表示訓練數據D的先驗機率，P(D|h)表示假設h成立時D的機率。機器學習中，咱們關心的是P(h|D)，即給定D時h的成立的機率，稱爲h的後驗機率。

3.貝葉斯公式

貝葉斯公式提供了從先驗機率P(h)、P(D)和P(D|h)計算後驗機率P(h|D)的方法

p(h|D)=P(D|H)*P(H)/P(D)

P(h|D)隨着P(h)和P(D|h)的增加而增加，隨着P(D)的增加而減小，即若是D獨立於h時被觀察到的可能性越大，那麼D對h的支持度越小。

4.極大後驗假設

學習器在候選假設集合H中尋找給定數據D時可能性最大的假設h，h被稱爲極大後驗假設（MAP）肯定MAP的方法是用貝葉斯公式計算每一個候選假設的後驗機率，計算式以下:

h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h屬於集合H)

最後一步，去掉了P(D)，由於它是不依賴於h的常量。

5.極大似然假設

在某些狀況下，可假定H中每一個假設有相同的先驗機率，這樣式子能夠進一步簡化，只需考慮P(D|h)來尋找極大可能假設。

h_ml = argmax p(D|h)  h屬於集合H

P(D|h)常被稱爲給定h時數據D的似然度，而使P(D|h)最大的假設被稱爲極大似然假設。

6.舉例

考慮一個醫療診斷問題，有兩種可能的假設：（1）病人有癌症。（2）病人無癌症。樣本數據來自某化驗測試，它也有兩種可能的結果：陽性和陰性。假設咱們已經有先驗知識：在全部人口中只有0.008的人患病。此外，化驗測試對有病的患者有98%的可能返回陽性結果，對無病患者有97%的可能返回陰性結果。

上面的數據能夠用如下機率式子表示：

P(cancer)=0.008,P(無cancer)=0.992

P(陽性|cancer)=0.98,P(陰性|cancer)=0.02

P(陽性|無cancer)=0.03，P(陰性|無cancer)=0.97

假設如今有一個新病人，化驗測試返回陽性，是否將病人判定爲有癌症呢？咱們能夠來計算極大後驗假設：

P(陽性|cancer)p(cancer)=0.98*0.008 = 0.0078

P(陽性|無cancer)*p(無cancer)=0.03*0.992 = 0.0298

所以，應該判斷爲無癌症。

貝葉斯推理的結果很大程度上依賴於先驗機率，另外不是徹底接受或拒絕假設，只是在觀察到較多的數據後增大或減少了假設的可能性。

 

貝葉斯分類具備以下特色：

(1)貝葉斯分類並不把一個對象絕對地指派給某一類，而是經過計算得出屬於某一類的機率，具備最大機率的類即是該對象所屬的類；

(2)通常狀況下在貝葉斯分類中全部的屬性都潛在地起做用，即並非一個或幾個屬性決定分類，而是全部的屬性都參與分類；

(3) 貝葉斯分類對象的屬性能夠是離散的、連續的，也能夠是混合的。

貝葉斯定理給出了最小化偏差的最優解決方法，可用於分類和預測。理論上，它看起來很完美，但在實際中，它並不能直接利用，它須要知道證據的確切分佈機率，而實際上咱們並不能確切的給出證據的分佈機率。所以咱們在不少分類方法中都會做出某種假設以逼近貝葉斯定理的要求。