B-機率論-貝葉斯決策

目錄

• 貝葉斯決策
• 1、貝葉斯決策理論
• 2、貝葉斯公式
  • 2.1 從條件機率公式推導貝葉斯公式
  • 2.2 從全機率公式推導貝葉斯公式
• 3、貝葉斯公式應用

更新、更全的《機器學習》的更新網站，更有python、go、數據結構與算法、爬蟲、人工智能教學等着你：http://www.javashuo.com/article/p-vozphyqp-cm.html

貝葉斯決策

1、貝葉斯決策理論

貝葉斯決策理論：在不徹底情報下，對部分未知的狀態用主觀機率估計。

2、貝葉斯公式

2.1 從條件機率公式推導貝葉斯公式

若果\(A\)和\(B\)相互獨立，則有\(p(A,B) = p(A)p(B)\)，並有條件機率公式
\[ p(A|B) = {\frac{p(A,B)}{p(B)}} \\ p(B|A) = {\frac{p(A,B)}{p(A)}} \\ \]
經過條件機率可得
\[ p(A,B) = p(B|A)p(A) \\ p(A|B) = {\frac{p(B|A)p(A)}{p(B)}} \quad \text{簡寫的貝葉斯公式} \]
\(p(A|B)\)：後驗機率，B發生的狀況下發生A的機率，須要計算的機率

\(p(B|A)\)：似然度，A假設條件成立的狀況發生B的機率

\(p(A)\)：A的先驗機率，也能夠理解成通常狀況下A發生的機率

\(p(B)\)：標準化常量，也能夠理解成通常狀況下B發生的機率

2.2 從全機率公式推導貝葉斯公式

全機率公式
\[ p(B) = \sum_{i=1}^n{p(B|A=A_i)p(A_i)} \quad \text{其中}\sum_{i=1}^n{p(A_i)=1} \]
經過全機率公式可得
\[ p(A|B) = {\frac{p(B|A)p(A)}{\sum_{i=1}^n{p(B|A=A_i)p(A_i)}}} \quad \text{完整的貝葉斯公式} \]

3、貝葉斯公式應用

在數字通訊中，因爲隨機干擾，所以接受的信號與發出的信號可能不一樣，爲了肯定發出的信號，一般須要計算各類機率。

若是發報機以0.6和0.4的機率發出信號0和1；

當發出信號0時，以0.7和0.2的機率收到信號0和1；

當發出信號1時，接收機以0.8和0.2收到信號1和0。

計算當接受機收到信號0時，發報機發出信號0的機率。

經過上述給出的數據能夠獲得如下推導

\(p(A_0) = 0.6\)：發報機發出信號0的機率

\(p(A_1) = 0.4\)：發報機發出信號1的機率

\(p(B)=p(A_0)p(B|A_0) + p(A_1)p(B|A_1)\)：發報機接收到信號0的機率

\(p(B|A_0) = 0.7\)：發報機發出信號0接收到信號0的機率

\(p(B|A_1) = 0.2\)：發報機發出信號1接收到信號0的機率

\[ \begin{align} p(A_0|B) & = {\frac{p(B|A_0)p(A_0)}{p(A_0)p(B|A_0) + p(A_1)p(B|A_1)}} \\ & ={\frac{0.6*0.7}{0.6*0.7 + 0.4*0.2}} \\ & ={\frac{0.42}{0.50}} \\ & =0.84 \end{align} \]