機率統計13——二項分佈與多項分佈

原文 | https://mp.weixin.qq.com/s/bOchsmHTINKKlyabCQKMSg

相關閱讀

最大似然估計(機率10)

尋找「最好」（3）函數和泛函的拉格朗日乘數法

伯努利分佈

　　若是隨機試驗僅有兩個可能的結果，那麼這兩個結果能夠用0和1表示，此時隨機變量X將是一個0/1的變量，其分佈是單個二值隨機變量的分佈，稱爲伯努利分佈。注意伯努利分佈關注的是結果只有0和1，而無論觀測條件是什麼。

性質

　　設p是隨機變量等於1的機率，伯努利分佈有一些特殊的性質：

　　將上面的兩個式子合併：

　　伯努利變量是離散型，而且是一個0/1變量，它的數學指望是：

　　方差是：

極大似然

　　最大似然估計(機率10)

　　對於伯努利分佈的質量函數來講，p是惟一的參數。若是給定N個獨立同分布的樣本 {x⁽¹⁾, x⁽²⁾, ……, x^(N)}，x^(t)是投硬幣的結果，是隨機變量，x^(t)ϵ{0, 1}，能夠經過極大似然估計，根據樣本推測出p的取值：

　　取對數似然函數：

　　這是個符合直覺的結果，即便沒學過幾率和極大似然也能得出這個結論。

二項分佈

　　假設某個試驗是伯努利試驗，成功機率用p表示，那麼失敗的機率爲1-p。如今進行了N次這樣的試驗，成功了x次，失敗了N-x次，發生這種狀況的機率是多少？

質量函數

　　對於每次實驗來講，成功的機率都是p，失敗的機率是1-p。假設已經完成了N次試驗，而且前x次都成功了，後N-x次都失敗了：

　　x次成功的狀況固然不止一種，好比成功和失敗交叉在一塊兒：

　　這種成功和失敗的排列順序共有種不一樣的狀況，所以對於任意N次伯努利試驗，成功了x次的機率是：

　　的另外一種記法是 。

　　P(x)就是二項分佈的質量函數，是N次伯努利試驗中取得x次成功的機率。

性質

　　二項分佈的均值和方差分別爲Np和Np(1-p)。

　　從二項分佈的質量函數P(x)可知，機率分佈只與試驗次數N和成功機率p有關，p越接近0.5，二項分佈將越對稱。保持二項分佈試驗的次數N不變，隨着成功機率p逐漸接近0.5，二項分佈逐漸對稱，且近似於均值爲Np、方差爲Np(1-p)的正態分佈：

多項分佈

　　多項分佈是二項分佈的擴展，其中隨機試驗的結果不是兩種狀態，而是K種互斥的離散狀態，每種狀態出現的機率爲p_i，p₁ + p₁ + … + p_K = 1，在這個前提下共進行了N次試驗，用x₁~x_K表示每種狀態出現次數，x₁ + x₂ + …+ x_K = N，稱X=(x₁, x₂, …, x_K)服從多項分佈，記做X~PN(N：p₁, p₂,…,p_n)。

質量函數

　　若是說二項分佈的典型案例是扔硬幣，那麼多項分佈就是扔骰子。骰子有6個不一樣的點數，扔一次骰子，每一個點數出現的機率（對應p₁~p₆）都是1/6。重複扔N次，6點出現x次的機率是：　　

　　這和二項分佈的質量函數相似。如今將問題擴展一下，扔N次骰子，1~6出現次數分別是x₁~x₆時的機率是多少？

　　仍然和二項式相似，假設前x₁次都是1點，以後的x₂次都是2點……最後x₆次都是6點：

　　1~6出現次數分別是x₁~x₆的狀況不止一種，1點出現x₁次的狀況有種；在1點出現x₁次的前提下，2點出現x₂次的狀況有種；在1點出現x₁次且2點出現x₂次的前提下，3點出現x₃的狀況有種……扔N次骰子，1~6出現次數分別是x₁~x₆時的機率是：

　　根據①：

　　最終，扔骰子的機率質量函數是：

　　把這個結論推廣到多項分佈：某隨機實驗若是有K種可能的結果C₁~C_K，它們出現的機率是p₁~p_K。在N隨機試驗的結果中，分別將C₁~C_K的出現次數記爲隨機變量X₁~X_K，那麼C₁出現x₁次、C₂出現x₂次……C_K出現x_K次這種事件發生的機率是：

　　其中x₁ + x₂ + …+ x_K = N，p₁ + p₂ + …+ p_K = 1。

極大似然

　　多項式的極大似然是指在隨機變量X₁=x₁, X₂=x₂, ……, X_K=x_K時，最可能的p₁~p_K。

　　對數極大似然：

　　如今問題變成了求約束條件下的極值：

　　根據拉格朗日乘子法：

　　尋找「最好」（3）函數和泛函的拉格朗日乘數法

　　根據約束條件：

　　這也是個符合直覺的結論。面對有N個樣本的K分類數據集，當p_i = x_i/N 時，C_i類最可能出現x_i次。爲了這個結論咱們卻大費周章，也許又有人所以而嘲笑機率簡單了……

---

　　出處：微信公衆號 "我是8位的"

　　本文以學習、研究和分享爲主，如需轉載，請聯繫本人，標明做者和出處，非商業用途！ 

　　掃描二維碼關注做者公衆號「我是8位的」