[白話解析] 深刻淺出貝葉斯定理

[白話解析] 深刻淺出貝葉斯定理

0x00 摘要

本文將盡可能使用易懂的方式介紹一致性貝葉斯定理，而且經過具體應用場景來幫助你們深刻這個概念。

0x01 IT概念

1. 貝葉斯定理

貝葉斯定理是用來解決"逆機率"問題的，即根據一些有限的過去數據來預測某個機率。好比利用有限的信息(過去天氣的測量數據)來預測明天下雨的機率是多少。

其底層思想是：新觀察到的樣本信息將修正人們之前對事物的認知。比如是人類剛開始時候對大天然只有少的可憐的先驗知識，可是隨着不斷觀察實踐得到更多的樣本，結果使得人們對天然界的規律摸得愈來愈透徹。

2. 問題領域

• 求解問題(A): 呼延灼想知道本身是不是公明哥哥的心腹，用A來表明"你是大哥的心腹"。

• 已知結果(B): 大哥對你下拜。記做事件B。

• 推理結果 P(A|B): 想經過大哥對你下拜這個事件，來判斷大哥視你爲心腹的機率。

3. 相關術語

• 先驗機率：指根據以往經驗和分析獲得的機率。它做爲"由因求果"問題中的"因"出現。

• 後驗機率：指事情已經發生後，要求此事件發生的緣由是因爲某個因素引發的可能性的大小。後驗機率是指獲得"已知結果"的信息以後從新修正的機率。是"執果尋因"問題中的"因"。

先驗機率是由以往的數據分析獲得的機率，泛指一類事物發生的機率，根據歷史資料或主觀判斷未經證明所肯定的機率。後驗機率而是在獲得信息以後再從新加以修正的機率，是某個特定條件下一個具體事物發生的機率。

• P(A): 是A的先驗機率，之因此稱爲先驗是由於它不考慮任何B方面的因素。

• P(B): 是B的先驗機率，之因此稱爲先驗是由於它不考慮任何A方面的因素。在這裏就是結果B發生的機率。

• P(A|B): 是已知B發生以後A的條件機率，就是先有B而後纔有A，也因爲得自B的取值而被成爲A的後驗機率。

• P(B|A): 是已知A發生以後B條件機率，就是先有A而後纔有B，也因爲得自A的取值而被成爲B的後驗機率。

• P(B|A)/P(B): 似然函數，這是一個調整因子，即新信息B帶來的調整，做用是使得先驗機率更接近真實機率。

4. 對應本題

• 先驗機率 P(A): 呼延灼事先沒法知道大哥是否視他爲心腹，因此只能根據通常的常識(或者以往經驗)來分析判斷獲得一個機率，這裏暫定爲50%(大哥有喜歡你，不喜歡你兩種可能)。

• 後驗機率 P(A|B): 即在B事件"大哥下拜"發生以後，對A事件"大哥視你爲心腹"機率的從新評估。

5. 思考模式

新觀念等於老觀念乘上調整因子（也叫作似然比)。

咱們先預估一個先驗機率，而後加入實驗結果，看看這個實驗是加強了仍是削弱了先驗機率，由此獲得更接近實時的後驗機率。

後驗機率 = 先驗機率 x 調整因子
後驗機率是 P(A|B)
先驗機率是 P(A)
調整因子是 P(B|A)/P(B)

或者用以下方式來思考：

先驗分佈 + 樣本信息 ==> 後驗分佈
​
在獲得新的樣本信息以前，人們對事物的認知是"先驗分佈"。
在獲得新樣本信息以後，人們對事物的認知調整爲"後驗分佈"。
​
即原先你有舊觀念 P(假設)，有了新證據以後，P(假設|證據)就是你的新觀念。新觀念等於老觀念乘上似然比。P(B|A)/P(B)在這裏被稱爲"似然比"。

或者還有這種思考方式

P(θ|X) = P(X|θ) P(θ) / P(X)
posterior = likehood * prior / evidence
​
posterior：P(θ|X)是 經過樣本X獲得參數θ的機率，也就是後驗機率。
likehood：P(X|θ)是 經過參數θ獲得樣本X的機率，似然函數，一般就是咱們的數據集的表現，即假設θ已知後咱們觀察到的數據應該是什麼樣子的。
prior：P(θ) 是參數θ的先驗機率，通常是根據人的先驗知識來得出的。
evidence：P(X) 是樣本X發生的機率，是各類條件下發生的機率的積分。

0x02 本題如何解答

1. 通俗思考

呼延灼經過大哥對本身下拜這個事件，來判斷大哥視本身爲心腹的機率。

通俗的思考: 呼延灼先估計一個值（先驗機率），而後根據觀察的新信息不斷修正(可能性函數)。也就是利用 "調整因子" 來不斷修改 "先驗機率"）"

貝葉斯公式：

後驗機率P(A|B)  = 先驗機率P(A) x 調整因子 [P(B|A)/P(B)]

對於本題，則是

 P(大哥看重你|大哥下拜) = P(大哥看重你) x [ P(大哥由於看重你才下拜) / P(大哥下拜) ]

如何通俗思考這個"調整因子" ? 通俗理解就是：大哥看重你 / ( 大哥看重你 + 大哥不看重你). 也就是"大哥看重你"這個事件在整體事件中的比重。 這樣才能夠調整。

2. 具體解題

2.1 如何求先驗機率 P(A)?

一般有以下作法:

• 每一個樣本所屬的天然狀態都是已知的（有監督學習）

• 依靠經驗

• 用訓練樣本中各種出現的頻率估計，好比經過極大似然估計，把頻數除以總的次數就能夠獲得。即樣本中本類出現的次數除以樣本容量

這裏呼延灼用常理判斷，大哥看重的機率和不看重的機率都是50%, 即

P(A) = P(-A) = 50%

2.2 如何求P(B)?

P(B) 能夠根據經驗得到，但通常使用全機率公式，其意義在於：沒法知道一個事物獨立發生的機率，可是咱們能夠將其在各類條件下發生的機率進行累加得到。

即全機率公式是對復瑣事件的機率求解問題轉化爲了在不一樣狀況下發生的簡單事件的機率的求和問題。

P(B) = P(B|A)P(A) + P(B|-A)P(-A), 這裏把A的反集記做-A

本題中對應

P(大哥下拜) = P(大哥由於看重你才下拜)P(大哥看重你) + P(大哥不看重你也會下拜)P(大哥不看重你)

2.3 如何求P(B|A)?

這個很難。緣由包括：

• 機率密度函數包含了一個隨機變量的所有信息；

• 樣本數據可能很少；

• 特徵向量x的維度可能很大等等；

解決的辦法就是，把估計徹底未知的機率密度轉化爲估計參數。這裏就將機率密度估計問題轉化爲參數估計問題，極大似然估計就是一種參數估計方法。

固然了，機率密度函數的選取很重要，模型正確，在樣本區域無窮時，咱們會獲得較準確的估計值，若是模型都錯了，那估計半天的參數，確定也沒啥意義了。

本題中，呼延灼根據樣本數據來觀察概括推理來獲得的

P(大哥由於看重你才下拜) = 20%  
P(大哥不看重你也會下拜) = 80%

2.4 後續推導

因此呼延灼獲得了以下公式：

P(大哥看重你|大哥下拜) 
= P(大哥看重你) x [P(大哥由於看重你才下拜) / P(大哥下拜)]
= P(大哥看重你) x [P(大哥由於看重你才下拜) / [ P(大哥由於看重你才下拜)P(大哥看重你) + P(大哥不看重你也會下拜)P(大哥不看重你) ] ]

呼延灼發現，公明哥哥對於李逵戴宗並無納頭便拜，對於董平/關勝/盧俊義則納頭便拜。就知道大哥看重某人其實並不大會下拜，不看重但爲了套路某人反而會下拜。

因此呼延灼得出以下計算過程。

如下是呼延灼根據常理假設
p(大哥看重你)=50%
p(大哥不看重你)=50%
​
如下是呼延灼根據觀察概括推理
P(大哥由於看重你才下拜) = 20%
P(大哥不看重你也會下拜) = 80%
​
因而呼延灼最終計算以下
P(大哥看重你|大哥下拜) = 50% x (20% / (20%x50% + 80%x50%)) = 20%

因此從大哥對呼延灼下拜這個能看出來，大哥不看重呼延灼。把大哥看重呼延灼這個機率下調。

3. 結論

一句話歸納貝葉斯思想，就是"觀點隨着事實而改變"。

若是我能掌握一個事情的所有信息，我固然能計算出一個客觀機率（古典機率）。 但是生活中絕大多數決策面臨的信息都是不全的，咱們手中只有有限的信息。既然沒法獲得全面的信息，咱們就在信息有限的狀況下，儘量作出一個好的預測。也就是，在主觀判斷的基礎上，你能夠先估計一個值（先驗機率），而後根據觀察的新信息不斷修正(可能性函數)。

這就有點像破案，從結果推測原因。你來到案發現場，收集證據（結果）。經過證據的疊加，兇手的特徵逐漸清晰。最終你選擇「相信」誰是兇手。

貝葉斯說，你對某個假設的「相信」程度，應該用一個機率來表示——P(假設)。

0x03 參考

https://blog.csdn.net/weixin_40920228/article/details/80850489

https://cloud.tencent.com/developer/news/266248

http://www.javashuo.com/article/p-nlhypzmn-ep.html

http://www.javashuo.com/article/p-xobqrdds-ns.html