貝葉斯公式的直觀理解(先驗機率/後驗機率)

 

前言

　　之前在許學習貝葉斯方法的時候一直不得要領,什麼先驗機率,什麼後驗機率,徹底是跟想象脫節的東西,今天在聽喜馬拉雅的音頻的時候忽然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.

先驗機率:是指根據以往經驗和分析獲得的機率.[1]

　　意思是說咱們人有一個常識,好比骰子,咱們都知道機率是1/6,並且無數次重複實驗也代表是這個數,這是一種咱們人的常識,也是咱們在不知道任何狀況下必然會說出的一個值.而所謂的先驗機率是咱們人在未知條件下對事件發生可能性猜想的數學表示!*

後驗機率:事情已經發生，要求這件事情發生的緣由是由某個因素引發的可能性的大小[1]

舉個栗子

　　首先我想問一個問題,桌子上若是有一塊肉喝一瓶醋,你若是吃了一塊肉,而後你以爲是酸的,那你以爲肉里加了醋的機率有多大?你說:80%可能性加了醋.OK,你已經進行了一次後驗機率的猜想.沒錯,就這麼簡單.

形式化:

　　咱們設A爲加了醋的機率,B爲吃了以後是酸的機率.C爲肉變質的機率

思考思考再思考

　　那麼先驗機率在這個公式中有沒有出現呢?有,P(A)就是一種先驗機率.

　　那麼什麼是P(B|A)呢? 類條件機率.

　　那麼P(B|A)爲何叫類條件機率呢?立刻解釋.

　　在寫這個隨筆之時,我腦子中又有一種構想,所謂的後驗機率,是一種果因機率,即在一個結果已經發生的條件下,多是其中某一個緣由形成的機率有多大.這裏引用一段"機率論與數理統計"[2]中關於貝葉斯公式的解釋:

"若是咱們把事件A看作'結果',把諸事件B1,B2...看作致使這個結果的可能的'緣由',則能夠形象地把全機率公式看作成爲'由緣由推結果';而貝葉斯公式則剛好相反,其做用於'由結果推緣由':如今有一個'結果'A以發生,在衆多可能的'緣由'中,究竟是哪個致使了這結果"

,這也佐證了我構想的正確性

 　  那麼這個P(緣由1致使結果)和P(結果|緣由1)之間到底有什麼聯繫呢?讓咱們舉一個圖像識別的例子

再舉個栗子

　　假如給你一些圖片,這些圖片中有的圖上有動物的角,這些圖片佔了1/10(即先驗機率),且已知在有角的條件下是犀牛的機率是0.8(類條件機率1,注意這個機率互補的機率是有角條件下不是犀牛的機率),已知在無角條件下是犀牛機率的是0.05(類條件機率2),如今拿起一張圖,發現是一張犀牛的圖,那麼這張圖上帶角的機率有多大(求後驗機率)

　　由圖中公式可知P(圖片上由動物的角|是犀牛) = 0.8*0.1/(0.8*0.1+0.05*0.9)=0.64

　　能夠看到P(圖片上由動物的角且是犀牛)=0.08與P(是犀牛|圖片上由動物的角)=0.8之間差異很是大.

　　再經過比較能夠發現,分母中的類條件機率實際上把一個完整的問題集合S經過特徵進行了劃分,劃分紅S1/S2/S3...,拿我剛剛提出的所謂果因機率來討論,類條件機率中的類指的是把形成結果的全部緣由一(yi) 一(yi)進行列舉,分別討論.

總結:

"機率論只不過是把常識用數學公式表達了出來"---拉普拉斯

　　我想之因此貝葉斯方法在機器學習中如此重要,就是由於人們但願機器人能像人那樣思考,而不少問題是須要計算機在已知條件下作出最佳決策的決策,而貝葉斯公式就是對人腦在已知條件下作出直覺判斷的一種數學表示.