漫步數理統計十五——兩個隨機變量的分佈

接下里咱們討論兩個隨機變量的例子。連續擲三次硬幣並考慮有序數對(前兩次$H$的個數，三次中$H$的個數)，其中$H,T$ 分別表示正面與反面，那麼樣本空間是$\textbf{C}=\{c:c=c_i,i=1,2,\ldots,8\}$，其中$c_1$是$TTT$，$c_2$是$TTH$，$c_3$是$THT$，$c_4$是$HTT$，$c_5$是$THH$，$c_6$是$HTH$，$c_7$是$HHT$，$c_8$是$HHH$，令$X_1$，$X_2$是兩個函數，使得$X_1(c_1)=X_1(c_2)=0,X_1(c_3)=X_1(c_4)=X_1(c_5)=X_1(c_6)=1,X_1(c_7)=X_1(c_8)=2$ 且$X_2(c_1)=0,X_2(c_2)=X_2(c_3)=X_2(c_4)=1,X_2(c_5)=X_2(c_6)=X_2(c_7)=2,X_2(c_8)=3$
那麼$X_1,X_2$是定義在樣本空間$\textbf{C}$上的實值函數，從樣本空間映射到有序數對空間

$$\textbf{D}=\{(0,0),(0,1),(1,1),(1,2),(2,2),(2,3)\}$$

$X_1,X_2$是定義在樣本空間$\textbf{C}$上的兩個隨機變量，在本例中，這些隨機變量的空間是二維集合$\textbf{D}$，它是二維歐幾里得空間$R^2$的子集，這裏$(X_1,X_2)$是從$\textbf{C}$到$\textbf{D}$的向量，如今咱們形式化隨機向量的定義。

$\textbf{定義1：}$(隨機向量)給定一個樣本空間爲$\textbf{C}$的隨機試驗，考慮兩個隨機變量$X_1,X_2$，對$\textbf{C}$中的每一個元素c只分配一個有序數對$X_1(c)=x_1,X_2(c)=x_2$，那麼咱們稱$(X_1,X_2)$是一個隨機向量。$(X_1,X_2)$的空間是有序數對$\textbf{D}=\{(x_1,x_2):x_1=X_1(c),x_2=X_2(c),c\in\textbf{C}\}$ 的集合。

咱們經常使用向量符號$\textbf{X}=(X_1,X_2)^{'}$，其中${'}$ 表示行向量$(X_1,X_2)^{'}$的轉置。

令$\textbf{D}$是隨機向量$(X_1,X_2)$關聯的空間，$A$是$\textbf{D}$的一個子集，與隨機變量同樣咱們稱爲事件$A$，咱們想定義事件$A$的機率，用$P_{X_1,X_2}[A]$表示，一樣咱們用累加分佈函數(cdf)來定義$P_{X_1,X_2}$，那麼對任意$(x_1,x_2)\in R^2$

$$F_{X_1,X_2}(x_1,x_2)=P[\{X_1\leq x\}\cap\{X_2\leq x_2\}]$$

由於$X_1,X_2$是隨機變量，因此上面相加事件中的每一個事件都是原始樣本空間$\textbf{C}$中的事件，所以上面的表達式是明確的。與隨機變量同樣，咱們能夠將$P[\{X_1\leq x_1\}\cap\{X_2\leq x_2\}]$寫成$P[X_1\leq x_1,X_2\leq x_2]$，而且

$$\begin{align*} P[a_1<X_1\leq b_1,a_2<X_2\leq b_2] &=F_{X_1,X_2}(b_1,b_2)-F_{X_1,X_2}(a_1,b_2)\\ &-F_{X_1,X_2}(b_1,a_2)+F_{X_1,X_2}(a_1,a_2) \end{align*}$$

所以全部形如$(a_1,b_1]\times(a_2,b_2]$集合的機率能夠用cdf的形式表述出來，$R^2$中這種形式的集合生成了$R^2$子集的博萊爾$\sigma$域，cdf惟一地肯定一個$R^2$上的機率，咱們常稱這種cdf爲$(X_1,X_2)$的聯合累積分佈函數。

與隨機變量同樣，咱們主要關係兩種類型的隨機向量，即離散與連續，首先討論離散狀況。

隨機向量$(X_1,X_2)$，若是它的空間$\textbf{D}$是有限的或可數的，那麼咱們稱它是離散隨機向量，所以$X_1,X_2$都是離散的，對於全部的$(x_1,x_2)\in\textbf{D}$，$(X_1,X_2)$ 的聯合機率質量函數(pmf)定義爲

$$p_{X_1,X_2}=P[X_1=x_1,X_2=x_2]$$

與隨機變量同樣，pmf惟一的肯定cdf，它也能夠用兩個性質表徵：

$$(i)0\leq p_{X_1,X_2}(x_1,x_2)\leq 1\quad(ii)\Sigma\Sigma_{\textbf{D}}p_{X_1,X_2}(x_1,x_2)=1$$

對於事件$B\in\textbf{D}$，咱們有

$$P[(X_1,X_2)\in B]=\sum\sum_{B}p_{X_1,X_2}(x_1,x_2)$$

$\textbf{例1：}$考慮定義在文章開頭實例中的離散隨機向量$(X_1,X_2)$，咱們能夠用下表表示其pmf：

表格橫向的$0,1,2,3$表示$X_2$的支撐，縱向$0,1,2$表示$X_1$的支撐。

這樣也便於敘述離散隨機向量$(X_1,X_2)$的支撐，他們是$(X_1,X_2)$空間中使得$p(x_1,x_2)>0$的全部點$(x_1,x_2)$，上面的例子中支撐是由六個點$\{(0,0),(0,1),(1,1),(1,2),(2,2),(2,3)\}$組成的。

對於空間爲$\textbf{D}$的隨機向量$(X_1,X_2)$，若是它的cdf$F_{X_1,X_2}(x_1,x_2)$是連續的，那麼咱們稱該隨機向量是連續的。在之後的文章中，有cdf的連續隨機向量用非負函數的積分表示，即對於全部的$(x_1,x_2)\in R^2,F_{X_1,X_2}(x_1,x_2)$能夠表示成

$$F_{X_1,X_2}(x_1,x_2)=\int_{-\infty}^{x_1}\int_{-\infty}^{x_2}f_{X_1,X_2}(w_1,w_2)dw_1dw_2$$

咱們稱被積部分爲$(X_1,X_2)$的聯合機率密度函數(pdf)，對於$f_{X_1,X_2}(x_1,x_2)$連續的點，咱們有

$$\frac{\partial^2F_{X_1,X_2}(x_1,x_2)}{\partial x_1\partial x_2}=f_{X_1,X_2}(x_1,x_2)$$

pdf基本可有兩個性質表徵：

$$(i)f_{X_1,X_2}(x_1,x_2)\geq 0\quad (ii)\int\int_{\textbf{D}}f_{X_1,X_2}(x_1,x_2)dx_1dx_2=1$$

對於事件$A\in\textbf{D}$，咱們有

$$P[(X_1,X_2)\in A]=\int\int_{A}f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

注意$P[(X_1,X_2)\in A]$僅僅是集合$A$上曲面$z=f_{X_1,X_2(x_1,x_2)}$下方的體積。

$\textbf{注：}$與單隨機變量同樣，咱們常常省略cdf，pdf與pmf中的下標$(X_1,X_2)$，咱們也經常使用符號$f_{12}$而不是$f_{X_1,X_2}$。除了$(X_1,X_2)$，咱們也經常使用$(X,Y)$表示隨機向量。

$\textbf{例2：}$令

$$f(x_1,x_2)= \begin{cases} 6x_1^2x_2&0<x_1<1,0<x_2<1\\ 0&elsewhere \end{cases}$$

是兩個連續隨機變量$X_1,X_2$的pdf，那麼咱們有

$$\begin{align*} P(0<X_1<\frac{3}{4},\frac{1}{3}<X_2<2) &=\int_{1/3}^2\int_{0}^{3/4}f(x_1,x_2)dx_1dx_2\\ &=\int_{1/3}^1\int_{0}^{3/4}6x_1^2x_2dx_1dx_2+\int_{1}^2\int_0^{3/4}0dx_1dx_2\\ &=\frac{3}{8}+0=\frac{3}{8} \end{align*}$$

注意這個機率是矩形集合$\{(x_1,x_2):0<x_1<\frac{3}{4},\frac{1}{3}<x_2<1\}\in R^2$上曲面$f(x_1,x_2)=6x_1^2x_2$下的體積。

對於連續隨機向量$(X_1,X_2)$，$(X_1,X_2)$的支撐包含全部$f(x_1,x_2)>0$的點，咱們用$\textbf{S}$表示隨機向量的支撐，與單變量同樣$\textbf{S}\subset\textbf{D}$。

對於$R^2$上pdf$f_{X_1,X_2}(x_1,x_2)$的定義，咱們經過將其餘地方設爲零進行擴展，這樣的話就能夠避免麻煩的$\textbf{D}$，這樣的話咱們就能將

$$\int\int_{\textbf{D}}f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

替換爲

$$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

離散狀況一樣如此，可將

$$\sum\sum_{\textbf{D}}p_{X_1,X_2}(x_1,x_2)$$

替換爲

$$\sum_{x_2}\sum_{x_1}p_{X_1,X_2}(x_1,x_2)$$

最後若是一個或多個變量的pmf或者pdf已經顯示的給定，那麼經過觀察就能看出隨機變量是離散仍是連續類型，例如顯然

$$p(x,y)= \begin{cases} \frac{9}{4^{x+y}}&x=1,2,3,\ldots,y=1,2,3,\ldots\\ 0&elsewhere \end{cases}$$

是兩個離散變量$X,Y$的pmf，而

$$f(x,y)= \begin{cases} 4xye^{-x^2-y^2}&0<x<\infty,0<y<\infty\\ 0&elsewhere \end{cases}$$

顯然是兩個連續隨機變量$X,Y$的pdf。

令$(X_1,X_2)$是隨機向量，那麼$X_1,X_2$每個都是隨機變量，咱們用$(X_1,X_2)$的聯合分佈形式獲得他們的分佈，回憶一下定義在$x_1$處$X_1$cdf的事件是$\{X_1\leq x_1\}$，然而

$$\{X_1\leq x_1\}=\{X_1\leq x_1\}\cap\{-\infty<X_2<\infty\}=\{X_1\leq x_1,-\infty<X_2<\infty\}$$

取機率得對於全部的$x_1\in R$

$$F_{X_1}(x_1)=P[X_1\leq x_1,-\infty<X_2<\infty]$$

將上式重寫成$F_{X_1}(x_1)=\lim_{x_2\uparrow\infty}F(x_1,x_2)$，由此咱們獲得cdf之間的關係，根據$(X_1,X_2)$是離散的或連續的，咱們能夠將其擴展到pmf或者pdf。

首先考慮離散狀況，令$\textbf{D}_{X_1}$是$X_1$的支撐，對於$x_1\in\textbf{D}_{X_1}$，上式等價於

$$F_{X_1}(x_1)=\sum_{w_1\leq x_1}\sum_{-\infty<x_2<\infty} p_{X_1,X_2}(w_1,x_2)=\sum_{w_1\leq x_1}\left\{\sum_{x_2<\infty}p_{X_1,X_2(w_1,x_2)}\right\}$$

根據cdf的惟一性，括號中的量確定是$X_1$在$w_1$處的pmf；即對於全部的$x_1\in\textbf{D}_{X_1}$

$$p_{X_1}(x_1)=\sum_{x_2<\infty}p_{X1,X_2}(x_1,x_2)$$

注意，爲了找出$X_1$是$x_1$的機率，保持$x_1$不變而後在全部$x_2$上求和$p_{X_1,X_2}$，以下表所示。表的最後一行是$X_2$的pmf，最後一列是$X_1$的pmf，通常而言，由於這些分佈記錄在表的邊緣，因此咱們常稱他們爲邊緣pmf。

$\textbf{例3：}$考慮一個隨機試驗，從包含10個一樣大小球的盒子中隨機抽一個球，每一個球上標有數字對，一個爲$(1,1)$，一個爲$(2,1)$，兩個爲$(3,1)$，一個爲$(1,2)$，兩個爲$(2,2)$，三個爲$(3,2)$。令隨機變量$X_1,X_2$分別表示有序對的第一個與第二個數，那麼$X_1,X_2$的聯合pmf$p(x_1,x_2)$以下表所示，其中$p(x_1,x_2)$在其餘地方等於零。

每行與每列的聯合機率進行相加，這些邊緣的和分別給出了$X_1,X_2$的邊緣機率密度函數，注意爲了求出他們咱們不必知道$p(x_1,x_2)$。

接下來考慮連續狀況，令$\textbf{D}_{X_1}$表示$X_1$的支持，對於$x_1\in D_{X_1}$

$$F_{X_1}=\int_{-\infty}^{x_1}\int_{-\infty}^{\infty}f_{X_1,X_2}(w_1,x_2)dx_2dw_1=\int_{-\infty}^{x_1}\left\{\int_{-\infty}^{\infty}f_{X_1,X_2}(w_1,x_2)dx_2\right\}dw_1$$

根據cdf的惟一性，括號中的量必定是$X_1$在$w_1$處的pdf；即對全部$x_1\in\textbf{D_{X_1}}$

$$f_{X_1}(x_1)=\int_{-\infty}^{\infty}f_{X_1,X_2}(x_1,x_2)dx_2$$

所以對於連續狀況，$X_1$的pdf經過積分$x_2$獲得，一樣的$x_2$的pdf能夠經過積分$x_1$獲得。

$\textbf{例4：}$$X_1,X_2$的聯合pdf爲

$$f(x_1,x_2)= \begin{cases} x_1+x_2&0<x_1<1,\ 0<x_2<1\\ 0&elsewhere \end{cases}$$

$X_1$的邊緣pdf爲

$$f_1(x_1)=\int_0^1(x_1+x_2)dx_2=x_1+\frac{1}{2},0<x_1<1$$

其餘地方爲零，$X_2$的邊緣pdf爲

$$f_1(x_1)=\int_0^1(x_1+x_2)dx_2=\frac{1}{2}+x_2,0<x_2<1$$

其餘地方爲零。像$P(X_1\leq\frac{1}{2})$的機率既能夠從$f_1(x_1)$也能夠從$f(x_1,x_2)$中計算獲得，由於

$$\int_0^{1/2}\int_0^1f(x_1,x_2)dx_2dx_1=\int_0^{1/2}f_1(x_1)dx_1=\frac{3}{8}$$

然而爲了求出像$P(X_1+X_2\leq 1)$，咱們必須用聯合pdf$f(x_1,x_2)$，以下所示：

$$\begin{align*} \int_0^1\int_0^{1-x_1}(x_1+x_2)dx_2dx_1 &=\int_0^1\left[x_1(1-x_1)+\frac{(1-x_1)^2}{2}\right]dx_1\\ &=\int_0^1\left(\frac{1}{2}-\frac{1}{2}x_1^2\right)dx_1=\frac{1}{3} \end{align*}$$

這個機率就是集合$\{(x_1,x_2):0<x_1,x_1+x_2\leq 1\}$上曲面$f(x_1,x_2)=x_1+x_2$下的體積。

$(X_1,X_2)$是一個隨機向量，$Y=g(X_1,X_2)$是某個實值函數，即$g:R^2\to R$，那麼$Y$是一個隨機變量且經過$Y$的分佈能夠肯定它的指望。

假設$(X_1,X_2)$是連續類型，那麼若是

$$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}|g(x_1,x_2)|f_{X_1,X_2}(x_1,x_2)dx_1dx_2<\infty$$

則$E(Y)$存在，

$$E(Y)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x_1,x_2)f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

相似的，若是$(X_1,X_2)$是離散的，那麼若是

$$\sum_{x_1}\sum_{x_2}|g(x_1,x_2)|p_{X_1,X_2}(x_1,x_2)dx_1dx_2<\infty$$

則$E(Y)$存在，

$$E(Y)=\sum_{x_1}\sum_{x_2}g(x_1,x_2)p_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

如今咱們說明$E$是一個線性運算。

$\textbf{定理1：}$令$(X_1,X_2)$是一個隨機向量，$Y_1=g_1(X_1,X_2),Y_2=g_2(X_1,X_2)$是隨機變量，其指望存在，那麼對任意實數$k_1,k_2$

$$E(k_1Y_1+k_2Y_2)=k_1E(Y_1)+k_2E(Y_2)$$

$\textbf{證實：}$咱們證實連續狀況。$k_1Y_1+k_2Y_2$指望值的存在性直接從三角不等式以及積分的線性能夠求出，即

$$\begin{align*} &\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}|k_1g_1(x_1,x_2)+k_2g_1(x_1,x_2)|f_{X_1,X_2}(x_1,x_2)dx_1dx_2\leq\\ &|k_1|\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}|g_1(x_1,x_2)|f_{X_1,X_2}(x_1,x_2)dx_1dx_2\\ &+|k_2|\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}|g_2(x_1,x_2)|f_{X_1,X_2}(x_1,x_2)dx_1dx_2<\infty \end{align*}$$

利用積分的線性可得

$$\begin{align*} E(k_1Y_1+k_2Y_2) &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}[k_1g_1(x_1,x_2)+k_2g_2(x_1,x_2)]f_{X_1,X_2}(x_1,x_2)dx_1dx_2\\ &=k_1\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g_1(x_1,x_2)f_{X_1,X_2}(x_1,x_2)dx_1dx_2\\ &+k_2\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g_2(x_1,x_2)f_{X_1,X_2}(x_1,x_2)dx_1dx_2\\ &=k_1E(Y_1)+k_2E(Y_2) \end{align*}$$

得證。

注意對於$X_2$的任意函數$g(X_2)$的指望能夠經過兩種方式獲得：

$$E(g(X_2))=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x_2)f(x_1,x_2)dx_1dx_2=\int_{-\infty}^{\infty}g(x_2)f_{X_2}(x_2)dx_2$$

最後的式子是經過先積分$x_1$獲得的，下面的例子說明了這個想法。

$\textbf{例5：}$$X_1,X_2$的pdf爲

$$f(x_1,x_2)= \begin{cases} 8x_1x_2&0<x_1<x_2<1\\ 0&elsewhere \end{cases}$$

那麼

$$\begin{align*} E(X_1X_2^2) &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}x_1x_2^2f(x_1,x_2)dx_1dx_2\\ &=\int_0^1\int_)^{x_2}8x_1^2x_2^3dx_1dx_2\\ &=\int_0^1\frac{8}{3}x_2^6dx_2=\frac{8}{21} \end{align*}$$

另外

$$E(X_2)=\int_0^1\int_0^{x_2}x_2(8x_1x_2)dx_1dx_2=\frac{4}{5}$$

由於$X_2$的pdf$f_2(x_2)=4x_2^3,,0<x_2<1$，其餘地方爲零，後者的指望能夠用

$$E(X_2)=\int_0^1x_2(4x_2^3)dx_2=\frac{4}{5}$$

求出，所以

E(7X1X22+5X2)