機率論與數理統計基礎<1>:隨機事件與隨機變量

#Part1. 隨機事件 ##1-1.隨機試驗 隨機試驗:能夠在相同條件下重複進行，每次試驗的結果不止一個，事先知道全部可能的結果但不肯定是哪個的試驗。 舉例：重複的拋出一枚均勻的硬幣就是一個隨機試驗，事先知道它的結果，可是不知道到底是正面仍是反面。 <br>

##1-2.隨機事件 定義1：隨機試驗可能的結果，稱爲樣本空間，它的子集就叫作隨機事件。 定義2：在必定條件下，可能發生也可能不發生的事件叫作隨機事件。 舉例：拋出硬幣後可能正面落地，可能反面落地，那麼「拋出硬幣後正面落地」就是一個隨機事件，它可能發生，也可能不發生。 <br>

##1-3.頻率與機率 頻率：$n$次重複試驗，事件A發生的次數爲$n_A$，則$n_A/n$就是事件A發生的頻率。 **機率：**當重複試驗次數n愈來愈大時，事件A發生的頻率$n_A/n$就會愈來愈穩定於一個常數；當試驗次數趨向無窮大時，頻率就等於這個常數，這個常數就被稱爲機率。 機率是一個隨機事件的固有屬性，它表明一個隨機事件發生的可能程度，而頻率是一個隨機事件在一系列試驗中發生的結果狀況，是一個統計值。 <br>

##1-4.古典概型（等可能概型） 古典概型：若是一個隨機試驗的結果有限，而且每一種結果發生的可能性相同，那麼這個機率模型就是古典概型，也稱爲等可能概型。 <br>

##1-5.條件機率與全機率 條件機率： $$ P(B|A)=\frac{P(AB)} {P(A)}, 其中P(A)>0 $$ 事件A發生的狀況下事件B發生的機率，稱爲條件機率。 全機率： $$ P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+…+P(A|B_n)P(B_n) $$ 其中，$B_i \cap B_j= \emptyset,i \neq j,i,j=1,2…n;B_1\cup B_2 \cup … \cup B_n = S.$ <br>

##1-6.貝葉斯公式 $$ P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^n{P(A|B_j)P(B_j)}},i=1,2…n. $$ 其中，$P(A)>0,P(B_i)>0(i=1,2…n)$ <br>

##1-7.先驗機率與後驗機率 先驗機率：$P(Y)$ 後驗機率：$P(Y|X)$ 先驗機率是事前機率，是歷史數據統計獲得的預判機率；後驗機率是一個事件發生後另一個事件發生的機率，是條件機率。 舉例： 根據歷史統計數據，這個季節下雨的機率爲$P(A)$，而打雷後下雨的機率爲$P(A|B)$，前者爲先驗機率，後者爲後驗機率。 貝葉斯公式就是一種經過先驗機率計算後驗機率的方法。 <br>

##1-8.獨立事件 相互獨立： 設A、B是兩個隨機事件，若是知足$P(AB)=P(A)P(B)$，則稱A、B相互獨立。 定理1： 設A、B是兩個隨機事件，且$P(A)>0$，則A、B相互獨立等價於$P(B|A)=P(B)$。 若是兩個時間相互獨立，那麼一個事件是否發生對另外一個事件發生沒有影響。 定理2： 若是A、B相互獨立，則$\bar A$與$B$、$\bar A$與$\bar B$、$A$與$\bar B$均爲相互獨立事件。 推廣到n個事件： 設$A_1,A_2,……,A_n$是$n(n \geq 2)$個事件，若是其中任意多個事件的積事件的機率，都等於各事件的機率之積，則稱$A_1,A_2,……,A_n$相互獨立。 <br> <br>

---

#Part2. 隨機變量 ##2-1.隨機變量 隨機試驗可能的結果造成了樣本空間S，隨機事件就是樣本空間S的某個子集，而樣本空間S中每一個元素e都會對應一個實數，這種映射關係能夠定義爲一個函數f(e)，那麼這個函數就c稱爲隨機變量。 這樣定義隨機變量：隨機變量是隨機試驗樣本空間上的單值實數函數。 所以，隨機變量的取值是由隨機試驗的結果肯定，具備機率性。 舉例： 重複的拋出一枚均勻的硬幣，其結果多是正面朝上，也能夠能是反面朝上，結果可能狀況提早知道但不肯定具體是哪一種結果，因此說，這是一個隨機試驗。 "結果正面朝上"是其中一種結果，是一個隨機事件，可能發生，也可能不發生。 若是定義「拋出一枚硬幣，正面朝上的次數」爲X，那麼，「結果正面朝上」時，X=1；「結果反面朝上」時，X=0。那麼X就是一個隨機變量。 <br>

##2-2.連續型隨機變量與離散型隨機變量 離散型隨機變量：取值能夠一一列舉，有限個或者可列舉的無限多個。 連續型隨機變量：取值不能一一列舉，可能取值連續的充滿了某一區間。 <br>

##2-3.離散型隨機變量的分佈律 定義：設離散型隨機變量$X$全部可能的取值爲$x_k(k=1,2,…)$，X取各個可能值的機率爲： $$ P{X=x_k}=p_k,k=1,2,… $$其中$p_k$知足兩個條件：1）$p_k \geq 0,k=1,2…$；2）$\sum\limits_{k=1}^\infty{p_k}=1$。 能夠將分佈律用表格表示：

<br>

##2-4.隨機變量的分佈函數 定義：設X是一個隨機變量，x是任意實數，函數: $$F(X)=P{X \geq x}, -\infty < x < +\infty $$ 稱爲$X$的分佈函數。 有如下性質： 1）對於任意實數，$x_1,x_2(x_1 \leq x_2)$，有: $$ P{x_1< X \leq x_2}=P{X \leq x_2}-P{X \leq x_1}=F(x_2)-F(x_1) $$2）$F(X)$是一個不減函數； 3）$F(-\infty)=0,F(+\infty)=0$； 4）$F(X)$是一個右連續函數； <br>

##2-5.連續型隨機變量的機率密度函數 對於一個連續型隨機變量$X$,其分佈函數爲$F(X)$，若是存在非負函數$f(x)$，而且對於任意實數$x$，有： $$ F(X)=\int_{-\infty}^x {f(t)}{\rm d}t $$那麼就稱$f(x)$爲隨機變量$X$的機率密度函數。 有如下性質： 1）$f(x) \geq 0$； 2）$\int_{-\infty}^{+\infty} {f(x)}{\rm d}x=1$； 3）對於任意實數$x_1,x_2(x_1 \leq x_2)$，有$P{x_1<X \leq x_2}=F(x_2)-F(x_1)=\int_{x_1}^{x_2} {f(x)}{\rm d}x$； 4）若$f(x)$在點$x$處連續，則有$F'(X)=f(x)$。 <br>

##2-6.重要的隨機變量分佈 ###（1）0-1分佈 定義：隨機變量$X$只可能取兩個值：0或者1，分佈律爲： $$ P{X=x_k}=p^k{(1-p)^{1-k}},k=0,1,其中0<p<1. $$

###（2）二項分佈 伯努利試驗：某一個試驗只有兩種可能的結果，獨立的進行n次重複試驗，稱爲n重伯努利試驗。 兩個特色：1）重複：兩個可能的結果及其機率不變；2）獨立：兩兩試驗之間互不影響。 定義：隨機變量$X$表示n重複伯努利試驗中某事件A發生的次數，那麼它的機率爲： $$ P{X=k}={n \choose k}{p^k}{(1-p)^{n-k}},k=0,1,…,n $$ 其中，$p$爲事件A發生的機率。 咱們稱$X$服從(n,p)的二項分佈，當n=1時，即爲0-1分佈。 ###（3）幾何分佈 定義：隨機變量$X$表示n重複伯努利試驗中某事件A第一次發生時的試驗次數，那麼它的機率爲： $$ P{X=k}=(1-p)^{k-1}p,k=1,2,… $$ 其中，$p$爲事件A發生的機率。 咱們稱$X$服從幾何分佈，記爲$X~G(p)$。 ###（4）泊松分佈 定義：隨機變量X全部可能取值爲0,1,2,…，若是各個取值的機率爲： $$ P{X=k}=\frac{\lambda ^k{e^{-\lambda}}}{k!},\lambda > 0 $$ 則稱隨機變量$X$服從泊松分佈，記爲$X$~$\pi(\lambda)$。 ###（5）均勻分佈 定義：若是連續型隨機變量X具備機率密度函數： $$ f(x)=\begin{cases} \frac{1}{b-a},\quad a \leq x\leq b\ 0, \quad 其餘 \end{cases} $$則稱$X$在區間$[a,b]$上服從均勻分佈，記爲$X$~$U(a,b)$。 均勻分佈的機率大小隻與區間長度有關，與區間位置無關。 ###（6）指數分佈 定義：若是連續型隨機變量X具備機率密度函數： $$ f(x)=\begin{cases} \frac{1}{\theta}e^{-x/\theta},\quad x>0\ 0, \quad 其餘 \end{cases} $$其中，$\theta>0$爲常數，則稱$X$服從參數爲$\theta$的指數分佈。 具備如下性質： 對於任意的$s,t>0$，有$P{X>s+t|X>s}=P{X>t}$ ###（7）正態分佈 定義：若是連續型隨機變量$X$的機率密度函數爲： $$f(x)= \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2{\sigma}^2}}, -\infty <x< +\infty $$ 其中$\mu,\sigma(\sigma>0)$爲常數，則稱X服從參數爲$\mu,\sigma$的正態分佈（高斯分佈），記爲$X$~$N(\mu,{\sigma}^2)$。 具備如下性質： 1）圖像關於$x=\mu$軸對稱，$x=\mu$取到最值$\frac{1}{\sqrt{2\pi}\sigma}$； 2）$\sigma$越小，曲線越尖瘦，越大越矮胖。 其分佈函數爲： $$ F(X)=\frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^xe^{-\frac{(t-\mu)^2}{2{\sigma}^2}}dt $$標準正態分佈： 當$\mu=0,\sigma=1$時，隨機變量X服從標準正態分佈。 其機率密度函數爲： $$ f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, -\infty <x< +\infty $$ 其分佈函數爲： $$ F(X)=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^xe^{-\frac{t^2}{2}}dt $$ 普通正態分佈函數轉爲標準正態分佈函數： $$ F(X)=\Phi(\frac{X-\mu}{\sigma}) $$ $3\sigma$原則： 若是一個隨機變量服從正態分佈$N(\mu,{\sigma}^2)$，那麼其99.74%的機率會分佈在$(\mu-3\sigma,\mu+3\sigma)$範圍內。 <br> <br>

---

##Part3. 隨機變量的數學特徵 ###3-1.指望 指望，又稱均值，由隨機變量$X$的機率分佈肯定。 對於一個離散型隨機變量$X$，其分佈律爲$P{X=x_k}=p_k,k=1,2,…$，則其指望爲： $$ E(X)=\sum_{k=1}^{+\infty}{x_k}{p_k} $$ 對於一個連續型隨機變量$X$，其機率密度函數爲$f(x)$，則其指望爲： $$ E(X)=\int_{-\infty}^{+\infty} x{f(x)}dx $$ 指望的性質： 1）設$C$爲常數，則有$E(C)=C$； 2）設$X$是一個隨機變量，C是常數，則有$E(CX)=CE(X)$； 3）設$X,Y$是兩個隨機變量，則有$E(X+Y)=E(X)+E(Y)$，可推廣到任意有限個隨機變量之和； 4）設$X,Y$是相互獨立的隨機變量，則有$E(XY)=E(X)E(Y)$，可推廣到任意有限個相互獨立的隨機變量之積。 <br>

###3-2.方差 方差，用來度量隨機變量X與其均值E(X)之間的偏離程度。D(X)越小表明數據越集中，越大表明數據越分散。 $$ D(X)=Var(X)=E{[X-E(X)]^2} $$ 標準差，或稱均方差爲$\sigma(X)=\sqrt{D(X)}$。 對於一個離散型隨機變量，其方差爲： $$ D(X)=\sum_{k=1}^{+\infty}{[x_k-E(X)]^2{p_k}} $$ 對於一個連續型隨機變量，其方差爲： $$ D(X)=\int_{-\infty}^{+\infty} {[x-E(X)]^2}{f(x)}dx $$ 另外，方差與指望之間有以下關係： $$ D(X)=E(X^2)-[E(X)]^2 $$ 方差的性質： 1）設$C$爲常數，則$D(C)=0$； 2）設$X$施隨機變量，$C$是常數，則有：$D(CX)=C^2{D(X)}, D(X+C)=D(X)$ 3）設$X,Y$是兩個隨機變量，則有$D(X+Y)=D(X)+D(Y)+2E{(X-E(X))(Y-E(Y))}$ 特別地，若是$X,Y$相互獨立，則有$D(X+Y)=D(X)+D(Y)$。 <br>

###3-3.協方差與相關係數 二維隨機變量$(X,Y)$，定義隨機變量$X$與$Y$的協方差： $$ Cov(X,Y)=E{[X-E(X)][Y-E(Y)]} $$ 有如下性質： 1）$Cov(X,Y)=Cov(Y,X)$ 2）$Cov(X,X)=D(X)$ 3）$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$ 4）$Cov(X,Y)=E(XY)-E(X)E(Y)$ 5）$Cov(aX,bY)=abCov(X,Y),a,b$是常數 6）$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_1,Y)$ 定義隨機變量X與Y的相關係數： $$ \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} $$ 有如下性質：$|\rho_{XY}| \leq 1$ $\rho_{XY}$是一個能夠用來表徵$X,Y$之間線性關係緊密程度的量。當$|\rho_{XY}|$較大時，就認爲$X,Y$線性相關程度大；$|\rho_{XY}|$較小時，就認爲$X,Y$線性相關程度小；$|\rho_{XY}|$爲0時，就認爲$X,Y$不相關；$|\rho_{XY}|$爲1時，就認爲$X,Y$徹底線性相關。 $X,Y$相互獨立時，必定不相關；$X,Y$不相關時，則不必定相互獨立。 <br>

###3-4.原點矩與中心矩 設$X,Y$是隨機變量， k階原點矩：$E(X^k),k=1,2,…$ k階中心矩：$E([X-E(X)]^k),k=2,3,…$ k+l階混合矩：$E({X^k}{Y^l}),k,l=1,2,…$ k+l階混合中心矩：$E({[X-E(X)]^k}{[Y-E(Y)]^l}),k,l=1,2,…$ 能夠看出：指望E(X)是一階原點矩，方差D(X)是而階中心距，協方差Cov(X,Y)是X和Y的二階混合中心矩。 <br>

###3-5.協方差矩陣 對於二維隨機變量$(X_1,X_2)$，若是它的四個二階中心矩都存在，記爲： $c_{11}=E{[X_1-E(X_1)]^2}$ $c_{12}=E{[X_1-E(X_1)][X_2-E(X_2)]}$ $c_{21}=E{[X_2-E(X_2)][X_1-E(X_1)]}$ $c_{22}=E{[X_2-E(X_2)]^2}$ 將它們排成矩陣形式： $$ \begin{pmatrix} c_{11} & c_{12}\ c_{21} & c_{22} \ \end{pmatrix} $$ 這個矩陣就是隨機變量$(X_1,X_2)$的協方差矩陣。 推廣到$n$維隨機變量$(X_1,X_2,…,X_n)$的二階混合中心矩，若是： $c_{ij}=Cov(X_i,Y_j)=E{[X_i-E(X_i)][X_j-E(X_j)]},i,j=1,2,…$ 都存在，則稱矩陣： $$ \begin{pmatrix} \begin{array}{cccc} c_{11} & c_{12} & \dots & c_{1n}\ c_{21} & c_{22} & \dots & c_{2n}\ \vdots & \vdots & &\vdots\ c_{n1} & c_{n2} & \dots & c_{nn}\ \end{array} \end{pmatrix} $$ 爲$n$維隨機變量$(X_1,X_2,…,X_n)$的協方差矩陣。 <br>

###3-5.重要分佈的數學特徵 0-1分佈：指望$p$、方差$p(1-p)$ 二項分佈：指望$np$、方差$np(1-p)$ 幾何分佈：指望$\frac{1}{p}$、方差$\frac{1-p}{p^2}$ 泊松分佈：指望$\lambda$、方差$\lambda$ 均勻分佈：指望$\frac{a+b}{2}$、方差$\frac{(b-a)^2}{12}$ 指數分佈：指望$\theta$、方差${\theta}^2$ 正態分佈：指望$\mu$、方差${\sigma}^2$ <br> <br>