機率論01

做者：桂。

時間：2018-06-26  22:38:04

連接：http://www.javashuo.com/article/p-ydmskmrk-ho.html 

---

前言

系統回顧數學知識，並學習補充相應的內容。隨手記錄在博客裏，初步打算：

• 機率論與數理統計
• 高等數學
• 線性代數
• 矩陣論
• 數值優化
• 動態規劃
• 運籌學
• 凸優化
• 隨機過程

都是硬骨頭，慢慢啃吧。

 1、機率論與數理統計

浙江大學 第四版。

第一章

1- 肯定性現象 / 不肯定性現象。  —> 個別試驗結果不肯定，大量重複試驗具備統計規律：隨機現象。

2- 古典概型：又稱等可能概型，特色：1）樣本空間元素個數有限，2）每一個基本時間等可能。

3- 排列、組合：

排列-permutation/Arrangement，故對應$A^m_n$，分爲有放回、無放回。

組合-Combination，故對應$C^m_n$，分爲有放回、無放回。

兩者區別：排列需考慮元素之間的順序，而組合沒必要考慮。

其實數獨、拼圖也都是組合，由此想到平時把各類信息羅列起來，有助於分析判斷。

4- 條件機率：conditonal probability，P（A|B） = P(AB)/P(B)

對於互不相容的事件，P（U B_i | A） = ∑P(B_i A)/P(A)

通常地，P(B U C |A) = P(B|A)+P(C|A)-P(BC|A)，機率性質不受條件限制。

5- 乘法公式：

直觀理解：先有老大，老大基礎上再有老二，老大老二基礎上再有老三，以此類推。

6- 全機率公式：

7- 貝葉斯公式：

 

貝葉斯能夠看做權重。

對比分析：

　　全機率： 因 -> 果；

　　貝葉斯： 果 -> 因；

貝葉斯應用的示例：

線索1：心情好 —— 按時吃飯機率爲95%

線索2：心情很差——按時吃飯機率爲50%

線索3：平時心情好的機率爲90%

線索4：今早按時吃飯

推斷：今天心情好的機率？

 8- 獨立性

P(AB)=P(A)P(B)，即機率上不受條件影響，天然相互獨立。該定義與 互斥 不一樣。

---

第二章

1- 離散：分佈率 + 機率   連續：分佈函數 + 機率密度

2- 幾種常見分佈

這個須要梳理一下，

最基本的：0-1分佈

 

獨立重複n次0-1試驗，成爲n重伯努利試驗，發生k次的機率爲組合問題：

，記爲服從參數n,p的二項分佈，也稱伯努利分佈。

當n->∞，【一段時間n等分，事件發生λ次】得：

從而獲得泊松分佈：

泊松分佈的均值方差都是λ，即np = np(1-p)，所以p -> 0 才行。

例如平時打遊戲，一段時間內，怪物出現的個數是固定的，但怪物出現的時間是隨機的，設定的時候怪物須要服從泊松分佈。

更通常地，一段時間內平均發生λ次，該類模型都符合泊松分佈。

容易證實：泊松分佈相鄰事件發生的間隔，符合指數分佈。

泊松分佈針對的是離散事件，事件n趨於無窮大，則時間間隔趨於無窮小，可認爲是連續：

證實：

對於泊松分佈：

假設：

這裏用到斯特林公式【斯特林公式推導.pdf】:

藉助斯特林公式（ Stirling’s formula）泊松分佈的分佈n!可表述爲:

泊松分佈進一步表述爲：

因爲：

泊松分佈：

又由於

從而：

可不就是正態分佈嗎？

能夠進一步推出：泊松分佈的均值、方差都是λ，所以：泊松分佈極限狀況得出的正態分佈：該正態分佈均值、方差相等。

更多細節可參考：附件。

存疑：平時分析信號特性，一般假設噪聲爲高斯白噪聲，即噪聲統計特性符合正態分佈，但採樣信號已是離散信號，假設服從泊松分佈更合理？

歸納：

0-1分佈 —> 二項分佈 —> 泊松分佈【指數分佈】 —> 正態分佈【也可由中心極限定理推出】

正態分佈是全部分佈趨於極限大樣本的分佈，屬於連續分佈。二項分佈與泊松分佈，則都是離散分佈，二項分佈的極限分佈是泊松分佈、泊松分佈的極限分佈是正態分佈，即np=λ，當n很大時，能夠近似相等。當n很大時（還沒達到連續的程度），能夠用泊松分佈近似代替二項分佈；當n再變大，幾乎能夠當作連續時，二項分佈和泊松分佈均可以用正態分佈來代替。

3- 複合函數的機率密度

證實：

對於h'(y)>0，F（Y<y） = F(g(X)<y) = F(X<h(y))

[F(X<h(y))]‘ = fx[h(y)]h'(y)，得證。其餘狀況相似。

---

第三章

 二維聯合機率分佈，略。

第四章

1- 數學指望

複合：

證實：

 二維同理：

2- 方差

3- 切比雪夫（Chebyshev）不等式

證實：

 

無需知道分佈狀況，只需知道一階矩、二階矩，藉助切比雪夫估計機率P{|X-mu| >= epsilon} 的上界

4- 協方差與相關係數

方差體現的是：數據圍繞指望的波動狀況。

協方差體現的是：

兩個變量之和的方差與各自方差的差，也可從相關係數角度理解：表徵了不一樣變量的相關性。

5- 混合矩

6- 中心矩

7- 協方差矩陣

8- 多維正態分佈