隨機過程03：隨機過程基本概念

目錄

• 隨機過程基本概念
  • 隨機過程的定義
  • 隨機過程的機率分佈
  • 隨機過程的數字特徵
  • 特殊隨機過程

隨機過程基本概念

隨機過程的定義

隨機過程是一族隨機變量，主要用於描述隨時間變化的隨機現象。

假設 \((\Omega,\,\mathscr{F},\,P)\) 是機率空間，\(T\) 爲指標集，\(\varepsilon\) 爲點集，稱一族隨機變量 \(X(\omega,\,t):\Omega\to\varepsilon,\,t\in T\) 爲隨機過程，記做\(\boldsymbol X=(X(t),\,t\in T)\) 。其中，稱 \(T\) 爲時間參數空間，稱 \(\varepsilon\) 爲狀態空間。有時將時間 \(t\) 做爲下標，記做 \(X_t\) 。

這樣的定義未免有些抽象，能夠簡單理解爲：一個隨機過程 \(\boldsymbol X=\left(X(t),\,t\in T\right)\) 是一族隨機變量，即對指標集 \(T\) 中的每一個 \(t\) ，\(X(t)\) 是一個隨機變量，其含義爲過程在 \(t\) 時刻的狀態。

任給一個 \(\omega\in \Omega\) ，\(X(\omega,\,\cdot)\) 是 \(T\to\varepsilon\) 上的函數，稱爲隨機過程的樣本軌道或樣本曲線。咱們能夠理解爲：樣本曲線是隨機過程在 \(T\) 上的一次觀測結果。

根據參數空間 \(T\) 和狀態空間 \(\varepsilon\) 的不一樣類別，咱們能夠將隨機過程分爲如下四種狀況：離散時間離散狀態、離散時間連續狀態、連續時間離散狀態、連續時間連續狀態。

隨機過程的機率分佈

隨機過程是一族隨機變量，所以隨機過程也存在它的機率分佈。以 \(\varepsilon=\mathbb{R},\,T=(-\infty,\infty)\) 爲例，咱們首先來介紹隨機過程的有限維分佈 。

• \(1\) 維分佈：任給 \(t\in T\) ，\(X(t)\) 的分佈函數爲：

\[F_t(x)=P\big(X(t)\leq x\big) \ . \]

• \(2\) 維分佈：任給 \(s,\,t\in T\) ，\(\big(X(s),\,X(t)\big)\) 的聯合分佈函數爲：

\[F_{s,\,t}(x,\,y)=P\big(X(s)\leq x,\,X(t)\leq y\big) \ . \]

• \(k\) 維分佈：任給 \(t_1,t_2,\cdots,t_k\in T\) ，\(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的聯合分佈函數爲：

\[F_{t_1,t_2,\cdots,t_k}(x_1,x_2,\cdots,x_k)=P\big(X(t_1)\leq x_1,X(t_2)\leq x_2,\cdots,X(t_k)\leq x_k\big) \ . \]

隨機過程 \(\boldsymbol X\) 的機率分佈能夠經過它的全部有限維分佈函數族來描述：

\[\left\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n)\bigg|n=1,2,\cdots;\,t_i\in T,\,i=1,2,\cdots,n\right\} \ , \]

它徹底肯定了隨機過程的統計特性。

通常來講，具體給出一個隨機過程的任意有限維分佈並不容易計算。對於某些特殊狀況，咱們能夠用其餘方法計算。

• 若是 \(\big(X(t_1),X(t_2)-X(t_1),\cdots,X(t_k)-X(t_{k-1})\big)\) 的聯合分佈已知，則能夠經過線性變化的方法計算 \(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的聯合分佈。

  對 \(k\geq1,\,t_1<t_2<\cdots<t_k\) 有

\[\left\{ \begin{array}{l} X(t_1)=X(t_1) \ , \\ X(t_2)=X(t_1)+X(t_2)-X(t_1) \ , \\ \cdots\cdots\cdots\cdots \\ X(t_k)=X(t_1)+X(t_2)-X(t_1)+\cdots+X(t_k)-X(t_{k-1}) \ . \end{array} \right. \]

• 若是在給定 \(X(t_1),X(t_2),\cdots,X(t_{k-1})\) 的條件下，\(X(t_k)\) 的分佈是已知的，則 \(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的聯合分佈能夠經過條件機率的鏈式法則獲得。

  假設 \(t_1<t_2<\cdots<t_k\) ，任意給定 \(x_1,x_2,\cdots,x_k\in\mathbb{R}\) ，記 \(A_k=\{X(t_k)=x_k\}\) ，則有

\[\begin{aligned} P\big(X(t_1)=x_1,X(t_2)=x_2,\cdots,X(t_k)=x_k\big)&=P(A_1A_2\cdots A_k) \\ &=P(A_1)P(A_2|A_1)\cdots P(A_k|A_1A_2\cdots A_{k-1}) \ . \end{aligned} \]

隨機過程的數字特徵

類比於隨機變量，咱們一樣很難徹底掌握一個隨機過程的機率分佈，所以咱們須要引入某些數字特徵來反映隨機過程的主要性質。通常地，隨機過程的數字特徵是定義在時間參數空間上的函數。

均值函數

假設對每個 \(t\in T\) ，\({\rm E}|X(t)|<\infty\) ，則稱

\[\mu_X(t)={\rm E}[X(t)] \ , \ \ \ \ t\in T \]

爲隨機過程 \(\boldsymbol X\) 的均值函數。

方差函數

假設對每個 \(t\in T\) ，\({\rm E}\left[X(t)\right]^2<\infty\) ，則稱

\[\sigma_X^2(t)={\rm Var}(X(t)) \ , \ \ \ \ t\in T \]

爲隨機過程 \(\boldsymbol X\) 的方差函數。

自相關函數

對 \(s,\,t\in T\) ，定義

\[r_X(s,\,t) ={\rm E}(X(s)X(t)) \ , \ \ \ \ s,\,t\in T \ , \]

稱 \(r_X(s,\,t)\) 爲隨機過程 \(\boldsymbol X\) 的自相關函數。

自協方差函數

對 \(s,\,t\in T\) ，定義

\[C_X(s,\,t) ={\rm Cov}\big(X(s),X(t)\big)=r_X(s,\,t)-\mu_X(s)\mu_X(t) \ , \ \ \ \ s,\,t\in T \ , \]

稱 \(C_X(s,\,t)\) 爲隨機過程 \(\boldsymbol X\) 的自協方差函數。

互相關函數

對於兩個隨機過程 \(\boldsymbol X\) 和 \(\boldsymbol Y\) ，對每個 \(t\in T\) 都有 \({\rm E}\left[X(t)\right]^2<\infty\) ，\({\rm E}\left[Y(t)\right]^2<\infty\) ，定義

\[r_{X,Y}(s,\,t)={\rm E}\big(X(s)Y(t)\big) \ , \ \ \ \ s,\,t\in T \ , \]

稱 \(r_{X,Y}(s,\,t)\) 爲隨機過程 \(\boldsymbol X\) 和 \(\boldsymbol Y\) 的互相關函數。

特殊隨機過程

二階矩過程

對於隨機過程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是對每個 \(t\in T\) ，\({\rm E}[X(t)]^2\) 都存在，則稱隨機過程 \(\boldsymbol X\) 是一個二階矩過程。

二階矩從的均值函數、方差函數、自相關函數和自協方差函數老是存在的。

正態過程

對於隨機過程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是其任意有限維分佈爲聯合正態分佈，則稱隨機過程 \(X\) 爲正態過程或高斯過程。

正態過程是二階矩過程，它的有限維分佈徹底由它的均值函數和自協方差函數肯定。

寬平穩過程

對於隨機過程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，對每個 \(t\in T\) ，都有 \({\rm E}[X(t)]^2<\infty\) 。若是知足條件：

1. 均值函數爲常數，即 \(\mu_X(t)\equiv\mu \ , \ \ t\in T\) ；
2. 自相關函數僅與時間差有關，即 \(r_X(s,\,t)=\tau_X(s-t) \ , \ \ s,\,t\in T\) ，

則稱隨機過程 \(X\) 爲寬平穩過程或弱平穩過程。

嚴平穩過程

對於隨機過程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是對任意 \(k\geq1\) 和 \(t_1,t_2,\cdots,t_k\in T\) 以及 \(t\in T\) 都有

\[\big(X(t_1+t),X(t_2+t),\cdots,X(t_k+t)\big)\xlongequal{d}\big(X(t_1),X(t_2),\cdots,X(t_k)\big) \ , \]

則稱隨機過程 \(X\) 爲嚴平穩過程或強平穩過程。

嚴平穩指的是隨機過程的有限維分佈具備平移不變性。

若是嚴平穩過程的二階矩存在且有限，那麼它必定是寬平穩過程，反之則不必定。

若是寬平穩過程是正態過程，那麼它必定是嚴平穩過程。

平穩增量過程

對於隨機過程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是 \(X(t)-X(s)\) 的分佈僅依賴與時間差 \(t-s\) ，而與 \(s\) 和 \(t\) 無關，則稱隨機過程 \(\boldsymbol X\) 是獨立增量過程。

平穩增量的含義是，隨機過程在任意兩點間的值的變化的分佈只依賴這兩點間的距離。

獨立增量過程

對於隨機過程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是對任意 \(k\geq1\) 和 \(t_1<t_2<\cdots<t_k\) ，增量

\[X(t_1),X(t_2)-X(t_1),\cdots,X(t_k)-X(t_{k-1})​ \]

是相互獨立的，則稱隨機過程 \(\boldsymbol X\) 是獨立增量過程。

獨立增量的含義是，隨機過程在沒有重疊的時間區間上的值的變化都相互獨立。

若是隨機過程 \(\boldsymbol X\) 既是平穩增量過程，又是獨立增量過程，則稱隨機過程 \(\boldsymbol X\) 是平穩獨立增量過程。

白噪聲

設 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) 是零均值隨機過程，若是對任意 \(s\neq t\) 都有 \(r_X(s,\,t)=0\) ，則稱隨機過程 \(\boldsymbol X\) 是白噪聲。