Bayes Rule （貝葉斯公式）

2) 貝葉斯(Bayes)分類器

1、貝葉斯是誰？

參考地址：http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html

    貝葉斯(約1701-1761) Thomas Bayes，英國數學家。約1701年出生於倫敦，作過神甫。1742年成爲英國皇家學會會員。1761年4月7日逝世。貝葉斯在數學方面主要研究機率論。他首先將概括推理法用於機率論基礎理論，並創立了貝葉斯統計理論，對於統計決策函數、統計推斷、統計的估算等作出了貢獻。

補充說明：[1]  神父（Father），即神甫，司祭、司鐸的尊稱,是一個教堂的負責人。介於主教與助祭之間，屬七級神品。是羅馬天主教和東正教的宗教職位。千百年來只有男修士纔可擔當此職位。天主教拉丁禮部的神父終身不可結婚，而東正教的白衣神父能夠在晉鐸前結婚，但主教只能在獨身者中挑選。神父除了要主持彌撒及婚禮外，爲垂危者祈禱、告解、臨終聖事甚至驅魔也是神父的職務。教徒們認爲神父是教會內有神權的人，是他們靈魂上的父親，能夠表明天主"赦他們的罪"。神父的職權是管理本堂所轄區教徒，進行傳教活動。有付"聖洗"、聽"告解"、傅"終傅"、成"聖體"、祝福"婚配"之權，如受主教委託亦可"堅振"，但無授予"神品"之權。

什麼是貝葉斯推斷？

貝葉斯推斷與其餘統計學推斷方法大相徑庭。

它創建在主觀判斷的基礎上，也就是說，你能夠不須要客觀證據，先估計一個值，而後根據實際結果不斷修正。

正是由於它的主觀性太強，曾經遭到許多統計學家的詬病。

貝葉斯推斷須要大量的計算，所以歷史上很長一段時間，沒法獲得普遍應用。

只有計算機誕生之後，它纔得到真正的重視。人們發現，許多統計量是沒法事先進行客觀判斷的，而互聯網時代出現的大型數據集，再加上高速運算能力，爲驗證這些統計量提供了方便，也爲應用貝葉斯推斷創造了條件，它的威力正在日益顯現。

2、貝葉斯定理

要理解貝葉斯推斷，必須先理解貝葉斯定理。後者實際上就是計算"條件機率"的公式。

所謂"條件機率"（Conditional probability），就是指在事件B發生的狀況下，事件A發生的機率，用P(A|B)來表示。

    

 

公式的推導過程：

根據上圖知道： 

P(A*B) 表示 A和 B 同時發生的機率

P(A) 表示 A發生的機率

P(B) 表示 B發生的機率

原始定義： P(A*B)/P(A) 表示 在 A發生的前提下，B發生的機率，即： P(B|A)

原始定義： P(A*B)/P(B) 表示 在 B發生的前提下，A發生的機率，即： P(A|B)

___________________________

由於：

P(A|B) = P(A*B) / P(B)  

P(B|A) = P(A*B) / P(A)

因此： P(A*B) = P(A|B)*P(B) = P(B|A)*P(A) 

____________________________________________

咱們把P(A)稱爲"先驗機率"（Prior probability），即在B事件發生以前，咱們對A事件機率的一個判斷。

P(A|B)稱爲"後驗機率"（Posterior probability），即在B事件發生以後，咱們對A事件機率的從新評估。

P(B|A)/P(B)稱爲"可能性函數"（Likelyhood），這是一個調整因子，使得預估機率更接近真實機率。

因此，條件機率能夠理解成下面的式子：

　　後驗機率　＝　先驗機率 ｘ 調整因子

這就是貝葉斯推斷的含義。咱們先預估一個"先驗機率"，而後加入實驗結果，看這個實驗究竟是加強仍是削弱了"先驗機率"，由此獲得更接近事實的"後驗機率"。

在這裏，若是"可能性函數"P(B|A)/P(B)>1，意味着"先驗機率"被加強，事件A的發生的可能性變大；若是"可能性函數"=1，意味着B事件無助於判斷事件A的可能性；若是"可能性函數"<1，意味着"先驗機率"被削弱，事件A的可能性變小。 例如（碗和糖的故事； 能夠分析機率的加強和減弱。）

   

 

 

 

統計學分類

 

Bayes Rule （貝葉斯公式）

Bayes Rule

貝葉斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)

如今咱們能夠變形獲得：   P(A|B)*P(B)=P(B|A)*P(A)

那麼，他們之間有什麼聯繫呢？

例如：一座別墅在過去的 20 年裏一共發生過 2 次被盜，別墅的主人有一條狗，狗平均每週晚上叫 3 次，在盜賊入侵時狗叫的機率被估計爲 0.9，問題是：在狗叫的時候發生入侵的機率是多少？

原理通俗的解釋 ：（最終相等：  （狗叫+入侵 ）/ 全部事件= （入侵+狗叫）/ 全部事件   ）

狗叫的前提條件中  -->  入侵的機率 =  入侵/(入侵和非入侵)     （前提條件：狗叫）

入侵的前提條件中 -->   狗叫的機率 =  狗叫/(狗叫和狗不叫)     （前提條件：入侵）

 

咱們圍繞等式計算：

 

B表示狗叫  ，A表示入侵

P(B) 狗叫  ：  狗平均每週晚上叫 3 次  = 3/7

P(A|B) 狗叫&入侵 ：  ？

P(A) 入侵 ： 20 年裏一共發生過 2 次被盜   = 2/(20*365)    <365表示天，與等式左邊對應>

P(B|A) 入侵&狗叫 ： 入侵時狗叫的機率被估計爲 0.9   = 0.9

 

等式的推導過程： （狗叫+入侵 ）/ 全部事件= （入侵+狗叫）/ 全部事件  

                   3/7 * ? = 2/(20*365) * 0.9

                   ? =   2/(20*365) * 0.9 /(3/7)

公式推論出來勒：  P(A|B)  =  P(B|A) * P(A) /P(B)

 

理解了嗎？理解了請繼續看第2題，沒理解的能夠再看一遍第1題，看完仍是不懂，再看第2題，請保持多思考！

 

二、現分別有 A，B 兩個容器，在容器 A 裏分別有 7 個紅球和 3 個白球，在容器 B 裏有 1 個紅球和 9 個白球，現已知從這兩個容器裏任意抽出了一個球，且是紅球，問這個紅球是來自容器 A 的機率是多少?

原理通俗的解釋 ：（最終相等：  （紅球+容器A ）/ 全部事件= （容器A+紅球）/ 全部事件   ）

紅球的前提條件中  -->  容器A的機率 =  容器A/(容器A和容器B)     （前提條件：紅球）

容器A的前提條件中 -->   紅球的機率 =  紅球/(紅球和白球)     （前提條件：容器A）

 

咱們圍繞等式計算：

 

B表示紅球  ，A表示容器A

P(B) 紅球  ：  紅球的機率 =  8/20

P(A|B) 紅球&容器A ：  ？

P(A) 容器A ： 選中容器A的機率  = 10/20     (由於就容器A 10，總過 20個球，出如今A的機率是 10/20)

P(B|A) 容器A&紅球 ： 容器A中的紅球  =  7/10

 

 

等式的推導過程： （紅球+容器A ）/ 全部事件= （容器A+紅球）/ 全部事件    

                   8/20 * ? = 1/2 * 7/10

                   ? =   10/20 * 7/10 /(8/20)

公式推論出來勒：  P(A|B)  =  P(B|A) * P(A) /P(B)