機率論與數理統計小記

 

不少機率結論或機率問題結果是符合直覺的。

"機率論只不過是把常識用數學公式表達了出來"——拉普拉斯 

 

隨機事件間的關係：

互斥（互不相容）、對立：兩事件樣本點集合間的關係

相互獨立、線性相關：事件間的依賴關係

 

http://www.javashuo.com/article/p-hhkaanus-mq.html 機率定義、條件機率、全機率、貝葉斯公式

隨機試驗（E）：對不肯定的現象（隨機現象）中客觀事物進行觀察的過程。如拋擲一次色子。

樣本空間（Ω）：Ω={ ω_1, ω₂, ... }，即隨機試驗的一切可能結果組成的集合。每一個元素爲樣本點。如拋擲一次色子時出現的點數的樣本空間Ω={ 1,2,3,4,5,6 }。

隨機事件（A、B...）：隨機試驗的某種觀測結果，它是樣本空間中的部分樣本點組成的集合，是樣本空間的子集。如對於隨機試驗拋一次色子，A={出現的點爲奇數}={1, 3, 5}是個隨機事件。

典型的隨機事件——等可能模型：

古典概型（樣本空間爲離散有限集、各基本隨機事件發生的可能性同樣）

幾何概型（樣本空間是區域如一維二維三維等、各樣本點等可能出現）

隨機事件間的：

關係：包含、相等、互斥（或稱互不相容）。如⊆、=

運算：並、交、差、逆（或稱補、對立）等，如∪、∩、-、~。注：A的逆事件表示爲~A=A^c=Ω-A，也可表示爲A上面加上劃線；P(AB)指的是P(A∩B)

運算定律（交換律、結合律、分配律、對偶律）

隨機變量：Ω -> R，即樣本空間到實數的映射。隨機事件一般用隨機變量來表示，如拋擲一次色子時出現的點數X爲一個隨機變量。

機率：機率的公理化定義（柯爾莫哥洛夫定律，1933，蘇聯）：設隨機試驗E的樣本空間爲Ω，若對任一隨機事件A都有惟一實數P(A)與之對應，且P(A)知足非負（即0≤P(A)≤1）、規範（即P(Ω)=1）、可列可加性（即對兩兩互不相容事件A_i有P(∪Ai)=ΣP(A_i)），則P(A)爲隨機事件A的機率。

條件機率：

定義：P(A|B)=P(AB)/P(B)，其中P(B)>0，條件機率P(A|B)也符合上述公理化定義的三個性質。

推論（機率乘法公式）：P(AB)=P(A)P(B|A)=P(B)P(A|B)；P(ABC)=P(A)P(BC|A)=P(A)P(B|A)P(C|AB)，依次類推

事件互相獨立（事件間沒有關係）的定義：P(A|B)=P(A)或P(B|A)=P(B)，即P(AB)=P(A)P(B)。注：多個事件兩兩相互獨立並不意味着這些事件互相獨立（見連接中的示例）

注：P(A)+P(~A)=一、P(A∩B)+P(A∩~B)=P(A)，但P(A|B)+P(A|~B)與P(A)不恆等於P(A)也不恆等於1，沒有固定結果

先驗機率、後驗機率：

事件A的先驗機率P(A)：即事件A發生的機率。爲不考慮結果或其餘緣由下據以往經驗和分析對事件A發生可能性的猜想的數學表示，「先」體如今在事件A發生以前就斷言了事件A發生的機率。

後驗機率P(A|B)：事件B已經發生了，發生的緣由有多種，發生時由緣由A引發的機率。

全機率：P(B)=ΣP(A_iB)=ΣP(A_i)P(B|A_i)，i=1,2,...,n，其中A_i互不相容且ΣA_i=Ω（稱{ A_i }爲Ω的一個完備事件組）。

理解：事件結果B有兩兩無交集的子緣由{ A_i }，結果B發生的機率由這些子緣由累計獲得，這是從緣由推結果的計算問題，是計算先驗機率的問題。

貝葉斯公式：P(A_k|B)=P(A_kB)/P(B)=P(A_k)P(B|A_k)/ΣP(A_i)P(B|A_i)，k, i=1,2,...,n，其中A_i互不相容且ΣA_i=Ω（稱{ A_i }爲Ω的一個完備事件組）。

理解：事件結果B有兩兩無交集的子緣由{ A_i }，根據結果B能夠反推任一致使該結果的子緣由，其條件機率取決於子緣由和結果的聯合機率，這是從結果推緣由的計算問題，是計算後驗機率的問題。

更直覺的理解：已知結果B發生的狀況下求由緣由A_k致使的機率=緣由A_k致使結果B的機率/各緣由致使結果B的機率的和，或已知檢測呈陽性，則患病的機率=真陽性機率/(真陽性機率+假陽性機率)。後者的一個很好的例子：https://zhuanlan.zhihu.com/p/22467549

應用：貝葉斯分類器。原理：後驗機率最大化（即指望風險最小化），故也稱爲最大後驗機率估計；生成式模型。示例請參閱前面的連接。

貝葉斯最優分類器（據樣本學習分類器從而用於判斷樣本點所屬分類：結果推緣由。問題：先驗機率維度災難）

樸素貝葉斯法（加了個樣本點各維獨立同分布的前提假設以便於計算先驗機率，如垃圾郵件分類應用中假設各單詞出現相互獨立）

加入平滑因子的樸素貝葉斯法（先驗機率可能爲0從而致使後驗機率爲0的問題）

注：

現代統計學兩大分支：經典統計學派（知緣由推結果）、貝葉斯學派（知結果推緣由）。

從數學公式上來說，貝葉斯公式是全機率公式的逆運算，全機率公式和貝葉斯公式實際上表明瞭同一個事物的正反兩面，有因就有果，有果就有因。

 

 

 

 

---

 

http://www.javashuo.com/article/p-qjomilzs-ed.html 再談線性迴歸函數分析，從機率論與數理統計角度看線性迴歸參數估計

EX、DX、Cov(X, Y)、相關係數、分佈：伯努利分佈、泊松分佈（亦稱兩點分佈或0-1分佈）、均勻分佈、指數分佈、正態分佈、標準正態分佈

隨機變量 互相獨立 是 不線性相關 的充分沒必要要條件

http://www.javashuo.com/article/p-gxatyelk-mp.html 大數定律、中心極限定理

定律與定理：

伯努利大數定律（1713）（n足夠大時，伯努利實驗中事件發生頻率依機率1收斂於事件指望。收斂意爲小幅波動）

條件：特指伯努利實驗（伯努利實驗中各隨機變量獨立同分布，且均值、方差存在）

說明了頻率具備穩定性

*辛欽大數定律（n足夠大時，對於獨立同分布的隨機變量X_i，若X_i均值存在（方差可不存在），則樣本均值趨向於整體均值/指望） 

條件：各隨機變量獨立同分布、均值存在（方差可不存在）

爲用樣本均值來估計整體均值提供了理論依據

伯努利大數定律是此定律的一個特例

切比雪夫大數定律（當n足夠大時，對於互不線性相關的隨機變量X_i，若X_i均值和方差存在且方差一致有界，這些隨機變量的均值 趨向於 各隨機變量的指望的均值）

條件：隨機變量兩兩不線性相關（不要求獨立同分布，故條件更弱）、EX_i存在、DX_i存在且DX_i≤c

辛欽大數定律是此定律的一個特例

棣莫弗-拉普拉斯中心極限定理，也稱二項分佈的正態近似（1733）（n足夠大時，伯努利實驗中事件發生次數近似於正態分佈）

條件：特指伯努利實驗（伯努利實驗中各隨機變量是獨立同分布的，且均值、方差存在）

此定理的做用在於不少時候無法直接計算二項分佈的分佈/機率，若n夠大則此時可用正態分佈近似計算。實際上，若p≤0.1，則二項分佈也近似於泊松分佈，即也可用泊松分佈近似計算。

*列維-林德伯格中心極限定理（1920）（n足夠大時，對於獨立同分布的隨機變量X_i，若X_i均值和方差存在，則ΣX_i近似於正態分佈）

條件：各隨機變量獨立同分布，且均值、方差存在

當n足夠大時，對於任意獨立同分布可用正態分佈近似計算機率。

微觀少許樣本隨機、宏觀大數統計意義上的正態有序

棣莫弗-拉普拉斯中心極限定理是本定理的一個特例

 總結：大數定律是說樣本夠多時，樣本均值會收斂於整體均值（但樣本均值的分佈是怎樣的不知道）；中心極限定理是說樣本夠多時，樣本均值趨近於正態分佈（恰好彌補了大數定律不知分佈的缺陷）

 

 

https://blog.csdn.net/randy_01/article/details/84498713 統計學筆記

指望、方差、機率密度函數、邊緣機率密度函數、聯合機率密度函數、分佈函數、聯合分佈函數

https://blog.csdn.net/randy_01/article/details/84633530 統計學筆記 不等式

幾個機率不等式：

馬爾可夫不等式

切比雪夫不等式：用於衡量隨機變量與其指望的偏離程度的上限，上限與方差成正比。也說明了方差是隨機變量取值與其中心位置的偏離程度的一種衡量指標。

Mill不等式

 

幾個指望不等式：