1、機率論（機率公式、先驗機率，後驗機率，似然函數）

條件機率公式：

                            

全機率公式：

                           

貝葉斯公式：

                         

給定某系統的若干樣本X，計算該系統的參數，即

                                 

P(θ) 沒有數據支持下，θ發生的機率：先驗機率

P(θ|x) 在數據X的支持下，θ發生的機率：後驗機率，貝葉斯公式也稱爲後驗公式

p(x|θ) 給定某參數θ的機率分佈：似然函數

理解：

1) 教科書上的解釋老是太繞了，有一個很好例子：在沒有給任何信息的前提下，讓猜某人的姓氏。爲了猜對機率大一些，你可能會先百度一下中國人口的姓氏排名，發現李姓是中國第一大姓，約佔全國漢族人口的7.94%，因此你可能會猜李。也就是李姓出如今的機率最大。

此時李姓的機率即爲 先驗機率

2) 接着有人給提供了一些跟這我的相關信息，好比：知道他是來自」趙家村「，那這個時候你就知道，他姓趙的機率比較大，就會猜姓趙。

此時P(姓趙|趙家村)這個條件機率，即爲 後驗機率

3) 似然函數：

由貝葉斯公式帶來的思考：

給定某些樣本A，在這些樣本中計算結論B1,B2....Bi出現的機率，即P(Bi|A)，拿機率最大的那個結論B作爲樣本A最終的結論，也就是說我要求max P(Bi|A)，由貝葉斯公式：

max P(Bi|A) = max P(A|Bi)P(Bi)/P(A)  

其中 P(A) 即 

又由於樣本A給定，對於B1,B2....Bi來講P(A)是相同的，能夠把分母去掉：

max P(Bi|A) => max P(A|Bi)P(Bi)

若這些結論B1,B2....Bi的先驗機率相等（或者近似），則能夠獲得：

max P(Bi|A) => max P(A|Bi)P(Bi)=> max P(A|Bi)

最後獲得結論，咱們求maxP(Bi|A)，實際跟求max P(A|Bi)是等價的 而P(A|Bi)就是似然函數