機率論02

做者：桂。

時間：2018-06-27  06:22:47

連接：http://www.javashuo.com/article/p-njcudwwq-kt.html 

---

接上文：機率論01

如下推理的基礎是：切比雪夫不等式，且都要符合獨立同分布。  而切比雪夫不等式的前提是：不一樣變量具備獨立的分佈便可。

第五章

1- 大數定律（Law of Large Numbers,LLN）

　　1）隨機變量X1，X2，....相互獨立

　　2）服從同一分佈

　　3）數學指望E（Xk） = mu,k = 1,2,...

則有：

證實：

藉助切比雪夫不等式：

P{|x-mu| >= epsilon} <= sigma^2/epsilon^2

假設方差存在，求解方差sigma^2：

【同一分佈 + 獨立性，纔有該性質】

得出：

n->∞，夾逼準則：

大數定律：1）獨立同分布；2）具備均值mu，在1）2）條件知足的狀況下，隨機變量樣本數n很大時，他們的算術平均值很是接近指望【依機率收斂】。   大數定律理論上證實了該常識。

 2- 伯努利大數定律（Bernoulli’s Law of Large Numbers）

對於n重伯努利試驗，事件A的頻率依機率收斂於其機率。 伯努利大數定律爲

該問題針對的是n重伯努利試驗

證實：

可知mu = np，又fA是事件A發生的次數

fA = X1 + X2 +...

則fA/n = ，指望爲p，藉助大數定律：

3- 中心極限定理(The Central Limit Theorem (CLT))

中心極限定理：客觀實際一般是大量的相互獨立的隨機因素的綜合影響，其中每個別因素在總的影響中所起的做用都是微小的，這種隨機變量每每近似服從正態分佈，這種現象就是中心極限定理的客觀背景。

3.1- 中心極限定理

1）獨立同分布；2）均值、方差存在，則對於：

其分佈函數爲正態分佈：

證實：

藉助特徵函數【見最後附錄】

利用特徵函數的三個基本性質【3個特性易證，細節略】

1）若n階矩存在，

2）X = X1 +X2+X3+... Xi知足獨立同分布，則特徵函數 phei(X) = phei(∑Xi) = phei(X1)phei(X2)phei(X3)...

3）分佈函數可由特徵函數惟一肯定【即傅里葉變換，時域、頻域存在一一對應關係，特徵函數爲傅里葉變換的共軛】

定義：

以上性質由特徵函數1）2）特性求得。

兩邊取對數，令，根據洛必達法則【洛必達法則證實可由：拉格朗日中值定理或柯西中值定理證實】

又exp(-t^2/2)對應標準正態分佈，根據特徵函數3），得證。

特徵函數與矩、分佈函數，均可以創建聯繫，這方面的運算均可以藉助特徵函數。

理論細節可參考附件1。

3.2- 李雅普諾夫（Lyapunov）定理

 基本沒用到過，略。

該定理不要求具備同分布特性，即方差知足給定約束，大數（n很大）仍然服從正態分佈。

3.3- 棣莫弗-拉普拉斯定理（De Moivre-Laplace）

該定理是3.1中心極限定理的特例，此處mu = np, D = sigma^2 = np(1-p)，帶入便可。該定理證實了大數狀況下，二項分佈與正態分佈的關係。

 

附錄：

特徵函數定義：

最開始是母函數，主要爲了方便N階矩的計算而引入：

對於t = 0，有

但母函數可能不存在，如引入特徵函數，易證特徵函數必定存在。特徵函數：

，能夠看出這是傅里葉變換的共軛。

對於性質2，可結合二維傅里葉變換來理解：

F(u,v) = 積分1 積分2 f(x,y)exp(-i[xu + yv]) dxdy對於獨立的狀況 = F(u)*F(v)，多維變量依次類推。

另外，對於正態分佈，特徵函數爲：

性質：

原始表達式爲：

可藉助常微分方程求解，細節略。

有了MATHMATICA這個工具，像這樣的微分，能夠藉助工具完成：

支持指令輸入：

也可直接編輯公式：

可見特徵函數存在的前提是方差>0。