理解貝葉斯定理

條件機率

先要從條件機率講起，條件機率，通常記做P(A|B)，意思是當B事件發生時，A事件發生的機率。其定義爲

$$ P(A|B)=\frac{P(A\cap B)}{P(B)} $$

其中 $P(A \cap B)$ 意思是A和B共同發生的機率，稱爲聯合機率。也能夠寫做 P(A,B) 或 P(AB)。
注意，定義中A與B之間不必定有因果或者時間序列關係。

條件機率的這個定義如何理解呢？

1.樣本空間
回顧一下，樣本空間是一個實驗或隨機試驗全部可能結果的集合。例如，拋擲一枚硬幣，那麼樣本空間就是集合{正面，反面}。若是投擲一個骰子，那麼樣本空間就是 {1,2,3,4,5,6}。樣本空間的任何一個子集都被稱爲一個事件。
因此，當咱們一般說某個事件的機率時，實際上是默認省略了該事件的樣本空間。好比說事件A的機率是P(A)，實際上是指，在樣本空間 Ω 中，事件A的數量佔Ω的比率，記做P(A)。好比說骰子擲出3點的機率是1/6，實際上是說，在擲骰子全部可能結果的集合中（樣本空間）中，出現事件」3點「（子集）的比率是1/6。也就是 size{3} / size{1,2,3,4,5,6} = 1/6。

2.條件意味着縮小的樣本空間，是二級機率
一般說機率P(A)是針對樣本空間 Ω 來講的，而條件機率中的條件，好比P(A|B)，意思是事件B發生的狀況下，所以非B的樣本空間被這個條件排除掉了，因此這時P(A|B)已經不是針對 樣本空間 Ω 了，而是針對縮小的樣本空降 B。

結合上圖來理解。原來樣本空間是 Ω，事件B發生，意味着樣本空間縮小到B的範圍，即上圖黃色橢圓範圍內。同時事件A也發生，也就是上圖中 A∩B 藍色部分，藍色部分對黃色橢圓的佔比，就是條件機率 P(A|B)。能夠寫做

$$ P(A|B)=\frac{size\{A∩B\}}{size\{B\}} \quad(1) $$

若是考慮到

$$ P(A∩B) = \frac{size\{A∩B\}}{size\{\Omega\}} \\ P(B) = \frac{size\{B\}}{size\{\Omega\}} $$

因此

$$ P(A|B)=\frac{P(A\cap B)}{P(B)} \quad(2) $$

公式(2)就是一般條件機率的定義。要注意的是，若是用公式(1)，就是要窮舉事件（集合）"A∩B"和"B"的全部狀況。若是用公式(2)，要注意P(A∩B)和P(B)都是相對整個樣本空間 Ω 來計算其機率P的。

貝葉斯定理

從條件機率出發很容易推導出貝葉斯定理。

$$ P(A|B)=\frac{P(A\cap B)}{P(B)} \quad(3)\\ P(B|A)=\frac{P(A\cap B)}{P(A)} \quad(4) \\ \frac{P(A|B)}{P(B|A)}=\frac{P(A)}{P(B)} \quad(5) \\ P(A|B) = \frac{P(B|A)P(A)}{P(B)} \quad(6) $$

公式(5)能夠理解爲 條件機率的比值 = 先驗機率的比值 = 橢圓A / 橢圓B。（先驗機率指P(A)和P(B)，因爲不涉及其它條件，即P(A)與B無關，P(B)與A無關，因此稱爲先驗。條件機率在這裏又稱爲後驗機率，由於P(A|B)意味着已知B事件發生以後，P(B|A)意味着已知A事件發生以後）。

公式(6)就是一般貝葉斯定理的形式。

例題

來自維基百科 - 貝葉斯定理

1.種子檢測
假設100%的不良種子都表現A性狀，不良種子佔全部種子的比例是十萬分之一，全部種子中有1/3表現A性狀。問一顆A性狀的種子是不良種子的機率是多少？

樣本空間：全部種子
事件A：種子表現爲A形狀
事件Bad：是不良種子

根據已知條件
P(A|Bad) = 1 // 不良種子都表現A性狀
P(Bad) = 1/10萬 // 不良種子佔全部種子的比例是十萬分之一
P(A) = 1/3 // 全部種子中有1/3表現A性狀

求P(Bad|A) // A性狀的種子是不良種子的機率
P(Bad|A) = P(Bad) / P(A) P(A|Bad) = (1/10萬) / (1/3) 1 = 3/10萬

所謂P(Bad|A) ，就是在A的範圍內，Bad的佔比是多少。對照上面示意圖來講，就是 藍色矩形面積 / 紅框部分面積。

2.吸毒者檢測
假設吸毒者每次檢測呈陽性（+）的機率爲99%。而不吸毒者每次檢測呈陰性（-）的機率爲99%。某公司僱員有0.5%的吸毒。問檢測陽性（+）時，該僱員吸毒的機率是多少？

樣本空間：公司全部僱員
事件+：檢測結果陽性
事件D：僱員爲吸毒者
事件N：僱員爲非吸毒者

根據已知條件
P(+|D) = 0.99 // 吸毒者每次檢測呈陽性（+）的機率爲99%
不吸毒者每次檢測呈陰性（-）的機率爲99%，那麼檢測呈陽性的機率是 1-99%=1%，即
P(+|N) = 0.01
P(D) = 0.005 // 公司僱員有0.5%的吸毒
P(N) = 0.995 // 另外99.5%的僱員不吸毒

求P(D|+) // 檢測陽性（+）時，該僱員吸毒的機率是多少
P(D|+) = P(D) / P(+) * P(+|D) （公式7）

其中 P(+) 還須要計算，應用全機率公式，再用貝葉斯公式：
P(+) = P(+∩D) + P(+∩N) = P(+|D) P(D) + P(+|N) P(N)
= 0.99 0.005 + 0.01 0.995 = 0.0149

代入公式得
P(D|+) = P(D) / P(+) P(+|D) = 0.005 / 0.0149 0.99 = 0.3322 = 33.22%
即檢測呈陽性時，只有33.22%的機率爲吸毒者。

所謂P(D|+) ，就是在檢測陽性(+)的範圍內，吸毒者D的佔比是多少。對照上面示意圖來講，就是 藍色矩形面積 / 紅框部分面積。

貝葉斯定理的其它表示

上面吸毒者檢測案例中，其實已經獲得了貝葉斯公式的另外一種表示形式。將P(+)的公式帶入公式(7)：
P(D|+) = P(D) / P(+) P(+|D) = P(D) P(+|D) / ( P(+|D) P(D) + P(+|N) P(N) )
將D、+換成經常使用的符號A、B，即

$$ P(A|B) = \frac{P(B|A) P(A)} { P(B|A) P(A) + P(B|\bar A) P(\bar A) } $$

其中 $\bar A$ 是A的補集，即"非A"。

在更通常化的狀況，假設$\{A_i\}$是事件集合裏的部分集合，對於任意的$A_i$，貝葉斯定理可用下式表示：

$$ P(A_i|B) = \frac{P(B|A_i) P(A_i)} { \sum_j P(B|A_j) P(A_j) } \quad (8) $$

上面吸毒者檢測能夠直接用公式(8)計算。

參考

維基百科 - 條件機率
維基百科 - 樣本空間
維基百科 - 貝葉斯定理