Markov 隨機過程

馬爾可夫鏈

引言

本文主要講解馬爾可夫鏈以及隱馬爾科夫鏈的相關知識

第一節 離散馬爾可夫模型

考慮在每個時間段有一個值的隨機過程。令\(X_n\)表示它在時間段\(n\)的值，假設咱們要對一些列相繼的值\(X_0, X_1, X_2,···\) 創建機率模型。令 \(\{X_n, n=0,1,2, ···\}\) 是有限個值或可數個值的隨機過程， 這個隨機過程的可能值的集合記爲非負整數集合 \(\{0,1,2,···\}\) 即在任意時刻\(X_i\in\{0,1,2,···\}\), 若是在時刻\(t\), \(X_n = i\),那麼稱該過程在\(t\)時刻在狀態\(i\),咱們假設只要過程在狀態 \(i\)， 就有一個固定的機率 \(P_{i,j}\) 使得它在下一個狀態在 \(j\) 。即咱們假設對於一切狀態 \(i_0, i_1, i_2,···, i_{n-1}, i, j\) 與一切 \(n \geq 0\) ，有

\[P\{X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},···,X_1=i_1,X_0=i_0\}=P\{X_{n+1}=j|X_{n}=i\}=P_{i,j} \tag{1.1} \]

這樣的隨機過程叫作馬爾可夫鏈。
\(P_{i,j}\) 表示過程處於 \(i\) 時下一次轉移到狀態 \(j\) 的機率。因爲機率都是非負，而且過程必需要轉移到某一個狀態，所以有：

\(P_{i,j}\geq0, i,j\geq0\);       \(\sum_{j}^{\infty}P_{ij}=1, i=0,1,···\)
##舉個例子
（天氣預報） 假設明天下雨的機會只依賴於前一天的天氣條件，即今天是否下雨只依賴昨天是否下雨，這裏狀態集就是 \(S=\{下雨，不下雨\}\) 爲了方便，咱們能夠把下雨記爲 \(0\) ，不下雨記爲 \(1\) 即狀態集爲： \(S=\{0,1\}\) 若是今天下雨，那麼明天下雨的機率爲 \(0.7\) 若是今天不下雨，那麼明天下雨的機率爲 \(0.6\) 。這樣咱們能夠定義一個轉移矩陣\(P\) :

\[ P= \left[ \begin{matrix} 0.7 & 0.3 \\ 0.6 & 0.4 \end{matrix} \right] \tag{1.2} \]

從這個轉移矩陣中咱們能夠很容易的看出\(P_{0,0}=0.7, P_{0,1}=0.3,···\)

第二節 C-K方程

咱們已經定義了一步轉移機率\(P_{i,j}\).如今咱們定義\(n\)步轉移機率 \(P_{i,j}^{n}\) ,即處於狀態 \(i\) 的過程將在 \(n\) 次轉移以後處於狀態 \(j\) 的機率,即:
\[ P_{ij}^{n} = P\{X_{n+k}=j|X_k=i\}, n\geq0, i,j \geq 0 \]

C-K方程（查普曼-科爾莫格羅夫方程)提供了計算 \(n\) 步轉移機率的一個方法.這些方程是:
\[P_{ij}^{n+m}=\sum_{k=0}^{\infty}P_{ik}^{n}P_{kj}^{m} \ \ \ \ 對於一切\ \ \ \ n, m \geq 0, 一切i,j \tag{2.1}\]
其具體推導過程以下：

\[ \begin{split} P_{ij}^{n+m}=P\{X_{n+m}=j|X_0=i\}=\sum_{k=0}^{\infty}P\{X_{n+m}=j,X_n=k|X_0=i\} = \sum_{k=0}^{\infty}P\{X_{n+m}=j|X_n=k,X_0=i\}=\sum_{k=0}^{\infty}P_{kj}^{m}P_{ik}^{n} \end{split} \]
這個很容易理解,只要注意到 \(P_{ik}^{n}P_{kj}^{m}\) 表示，經過一條第 \(n\) 次轉移處於狀態 \(k\) 的通道，開始處在狀態 \(i\) 的過程通過\(n+m\)次轉移至狀態\(j\)的機率。所以對於全部的中間狀態求和就獲得這個過程在\(n+m\)次轉移後處於狀態\(j\)的機率。
(例) 在假設今天下雨而明天不下雨的機率是 \(0.7\) , 今天不下雨而明天下雨的機率是 \(0.4\)
, 假設今天下雨,計算從今天開始的第 \(4\) 天下雨的機率.

解
一步轉移機率矩陣爲:
\[ P= \left[ \begin{matrix} 0.7 & 0.3 \\ 0.6 & 0.4 \end{matrix} \right] \]
所以
\[ P^{(2)} = P^2 = \left[ \begin{matrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{matrix} \right] \left[ \begin{matrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{matrix} \right] = \left[ \begin{matrix} 0.61 & 0.39 \\ 0.52 & 0.48 \end{matrix} \right] \]

\[ \begin{split} P^{(4)} = (P^2)^{2} = \left[ \begin{matrix} 0.5749 & 0.39 \\ 0.5668 & 0.4332 \end{matrix} \right] \end{split} \]
而要求的機率 \(P_{00}^{4}=0.5749\)