【讀書筆記】機率論與數理統計（上）

做者：LogM

本文原載於 https://segmentfault.com/u/logm/articles，不容許轉載~

文章中的數學公式若沒法正確顯示，請參見：正確顯示數學公式的小技巧

本文爲機率論與數理統計的筆記。

---

1. 第一週

• 1.1 樣本空間

  • 隨機試驗的全部可能$S = \{e\}$

• 1.2 事件

  • 和事件：$A \cup B$
  • 積事件：$A \cap B$、$AB$
  • 差事件：$A-B$
  • 對立事件：$\overline{A}$

• 1.3 經常使用公式

  • $\overline{A} \cap \overline{B} = \overline{A \cup B}$、$\overline{A} \cup \overline{B} = \overline{A \cup B}$
  • $P(A\overline{B}) = P(A-B) = P(A)-P(AB)$
  • 加法公式：$P(A \cup B) = P(A) + P(B) - P(AB)$、$P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(BC) - P(AC) + P(ABC)$

---

2. 第二週

• 2.1 古典概型（等可能概型）

  • 抽球問題：N個球，其中a個白球，b個黃球，不放回抽n次，球剛好k個白球機率

$$ P = \frac{C_a^k \cdot C_b^{n-k}}{C_{a+b}^n} $$

• 生日問題：n我的，至少2人同生日的機率

$$ P = 1 - \frac{A_{365}^n}{365^n} $$

• 抽籤問題：a個白球，b個黃球，不放回抽n次，第k次爲白球的機率

$$ P = \frac{a \cdot (a+b-1)!}{(a+b)!} = \frac{a}{a+b} $$

• 不放回抽樣，第k次抽到白球的機率等於第一次抽到白球的機率

• 2.2 條件機率

  • $P(B|A) = \frac{P(AB)}{P(A)}$
  • $P(ABC) = P(A) \cdot P(B|A) \cdot P(C|AB)$

• 2.3 全機率公式

• 2.4 貝葉斯公式

---

3. 第三週

• 3.1 0-1分佈（兩點分佈、貝努利分佈）

  • 記爲：$X \sim 0-1(p)$、$X \sim B(p)$
  • 分佈律：$P(X=k) = (1-p)^{1-k} \cdot p^k$
  • 指望：$E(X) = p$
  • 方差：$D(X) = E(X^2)-[E(X)]^2 = p-p^2$

• 3.2 二項分佈（Binomial）

  • 記爲：$X \sim B(n, p)$
  • 分佈律：$P(X=k) = C_n^k \cdot p^k \cdot (1-p)^{n-k}$
  • 指望：$E(X) = np$
  • 方差：$E(X) = n(p-p^2)$
  • 若 $X \sim B(n_1, p)$，$Y \sim B(n_2, p)$，而且 $X$ 與 $Y$ 相互獨立，則$Z=X+Y \sim B(n_1+n_2, p)$

• 3.3 泊松分佈（Poisson）

  • 記爲：$X \sim \pi(\lambda)$、$X \sim P(\lambda)$
  • 分佈律：$P(X=k) = \frac{\lambda^k \cdot e^{-\lambda}}{k!}$
  • 指望：$E(X) = \lambda$
  • 方差：$D(X) = E(X^2)-[E(X)]^2 = (\lambda^2+\lambda) - \lambda^2$

  • 事件以固定強度$\lambda$隨機獨立發生，則該事件在單位時間發生次數k可視爲泊松分佈。強度$\lambda$可由單位時間該事件發生次數的平均數統計獲得。

  • 泊松分佈的本質：當二項分佈的 $n>10$、$p<0.1$、$\lambda=np$ 時，泊松分佈近似二項分佈。

  • 若 $X \sim \pi(\lambda_1)$，$Y \sim \pi(\lambda_2)$，而且 $X$ 與 $Y$ 相互獨立，則$Z=X+Y \sim \pi(\lambda_1 + \lambda_2)$

• 3.4 幾何分佈（Geometric）

  • 記爲：$X \sim Geom(p)$
  • 分佈律：$P(X=k) = p \cdot (1-p)^{k}$
  • 指望：$E(X) = 1/p$

  • 擲骰子，擲到6點就中止，擲骰子的次數k服從幾何分佈。

• 3.5 機率分佈函數

  • $F_X(x) = P(X \leq x)$

---

4. 第四周

• 4.1 機率密度函數

  • 機率分佈函數$F_X(x)$，機率密度函數$f_X(x)$
  • 連續型隨機變量知足：$F(x) = \int_{-\infty}^{x} f(t)dt$、$F^{'}(x)=f(x)$
  • 連續型隨機變量單點取值的機率爲0：$P(x=a) = 0$

• 4.2 均勻分佈（Uniform）

  • 記爲：$X \sim U(a, b)$、$X \sim Unif(a, b)$
  • 指望：$E(X) = \frac{a+b}{2}$
  • 方差：$D(X) = E(X^2)-[E(X)]^2 = \frac{a^2+b^2+ab}{3} - [\frac{a+b}{2}]^2$
  • 若 $X$ 與 $Y$ 相互獨立，且 $X \sim U(0, 1)$，$Y \sim U(0, 1)$，則 $Z=X+Y$ 的機率密度爲：$f_Z(z)=\left \{\begin{matrix} z & ,0 \leq z \leq 1 \\ 2-z & ,1 < z \leq 2 \\ 0 & ,others \end {matrix} \right.$

• 4.3 指數分佈（Exponential）

  • 記爲：$X \sim E(\lambda)$、$X \sim Exp(\lambda)$
  • $f(x)=\left \{\begin{matrix} \lambda e^{-\lambda x} & ,x>0 \\ 0 & ,x \leq 0 \end {matrix} \right.$
  • $F(x)= \left \{\begin{matrix} 1 - e^{-\lambda x} & ,x>0 \\ 0 & ,x \leq 0 \end {matrix} \right.$
  • 指望：$E(X) = 1/\lambda$
  • 方差：$D(X) = E(X^2)-[E(X)]^2 = 2/\lambda^2 - 1/\lambda^2$
  • 指數分佈是惟一一個具備無記憶性的連續分佈

  • $P(x > t_0 + t | x > t_0) = P(x>t)$

  • 若旅客進入機場的時間間隔X符合指數分佈，已知10分鐘內沒有旅客進入，求將來2分鐘內也沒有旅客進入的機率。$P(X>(10+2)|X>10) = P(X>2)$。

• 4.4 正態分佈（Normal）（高斯分佈、偏差分佈）

  • 記爲：$X \sim N(\mu ,\sigma ^2)$
  • $f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-u)^2}{2\sigma ^2}}$
  • 指望：$E(X) = \mu$
  • 方差：$D(X) = \sigma^2$
  • $\mu$爲位置參數，$\sigma$爲尺度參數，越小越瘦高
  • 根據中心極限定理，多個未知分佈的和可用正態分佈近似
  • 標準正態：$Z \sim N(0,1)$，$\varphi(z)$，$\Phi(z)$
  • 若 $Y=aX+b$，$X \sim (\mu, \sigma)$，則$Y \sim (a\mu+b, a^2\sigma^2)$
  • 若 $X \sim N(\mu_1 ,\sigma_1 ^2)$，$Y \sim N(\mu_2 ,\sigma_2 ^2)$，而且 $X$ 與 $Y$ 相互獨立，則$Z=X+Y \sim N(\mu_1+\mu_2 ,\sigma_1 ^2 + \sigma_2 ^2)$

---

5. 第五週

• 5.1 二元隨機變量分佈律

  • 分佈律：$P(X=x_i,Y=y_j) = p_{ij}$
  • 邊際分佈：$P(X=x_i) = p_{i\cdot}$，$P(Y=y_j) = p_{\cdot j}$
  • 條件分佈：$P(X=x_i|Y=y_j) = \frac{p_{ij}}{p_{\cdot j}}$

• 5.2 二元隨機變量分佈函數

  • 分佈函數：$F(x,y) = P(X \leq x, Y \leq y)$

  $P(x_1 < X \leq x_2, y_1 < Y \leq y_2) = F(x_2,y_2) - F(x_1,y_2) - F(x_2,y_1) + F(x_1,y_1)$

  • 邊際分佈函數：$F_X(x) = \lim_{y \to +\infty}F(x,y)$，$F_Y(y) = \lim_{x \to +\infty}F(x,y)$
  • 條件分佈函數：$F_{X|Y}(x|y) = P(X \leq x, Y=y)$

• 5.3 二元隨機變量機率密度

  • 聯合機率密度：$F(x,y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(u,v)dudv$，$\frac{\partial ^2 F(x,y)}{\partial x \partial y}=f(x,y)$

---

6. 第六週

• 6.1 二元隨機變量邊際機率密度和條件機率密度

  • 邊際機率密度：$f_X(x) = \int_{-\infty}^{+\infty} f(x,y)dy$，$f_Y(y) = \int_{-\infty}^{+\infty} f(x,y)dx$
  • 條件機率密度：$f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)}$

• 6.2 二元均勻分佈

  • $f(x,y)= \left \{\begin{matrix} 1/A & ,(x,y)\in D \\ 0 & ,(x,y)\notin D \end {matrix} \right.$，A爲區域D的面積
  • 其邊際分佈不是均勻分佈，其條件分佈是均勻分佈

• 6.3 二元正態分佈

  • 記爲：$(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$
  • $f(x,y)$ 太長省略
  • 其邊際分佈、條件分佈也是正態分佈
  • 當 $\rho=0$，$X$ 與 $Y$ 相互獨立（充要條件）

• 6.4 隨機變量的獨立性

  • 隨機變量獨立：$F(x,y) = F_X(x) \cdot F_Y(y)$
  • 離散型：對一切 $i,j$ 都有 $P(X=x_i, Y=y_j) = P(X=x_i) \cdot P(Y=y_j)$
  • 連續型：對可取範圍內的點 $(x,y)$，$f(x,y) = f_X(x) \cdot f_Y(y)$

---

7. 第七週

• 7.1 連續型變量 $Z=X+Y$ 的分佈

  • 已知 $f(x,y)$，$z=x+y$，求 $F(z)$
  • $f_Z(z) = \int_{-\infty}^{+\infty} f(z-y,y)dy$ 或者 $f_Z(z) = \int_{-\infty}^{+\infty} f(x,z-x)dy$$
  • 當 $x,y$ 相互獨立時，出現卷積公式，$f_Z(z) = \int_{-\infty}^{+\infty} f_X(z-y)f_Y(y)dy = \int_{-\infty}^{+\infty} f_X(x)f_Y(z-x)dy$

• 7.2 $M = max(X,Y)$ 和 $N = min(X,Y)$ 的分佈

  • $F_{max}(z) = P(M \leq z) = P(X \leq z, Y \leq z)$
  • $F_{max}(z) = P(N \leq z) = 1-P(N > z) = 1 - P(X > z, Y > z)$