Markov 鏈的基本概念

一個 Markov 鏈是機率空間上的一個以 \(E\) (至多可數) 爲狀態空間的隨機序列 \(\{X_n: n\ge 0\}\), 它知足 Markov 性和時齊性 (只考慮時齊的情形). 在 Markov 鏈的情形下, Markov 性與強 Markov 性等價.

---

記轉移機率 \(p^{(n)}_{x,y} = \mathbb P^x(X_n=y)\), 知足 Chapman-Kolmogorov 方程.
若存在 \(n\ge 0\), 使得 \(p^{(n)}_{x,y}>0\), 則稱 \(x\) 可達 \(y\); 若互相可達則稱互達. 若任意兩狀態互達, 則稱 \(X\) 不可約 (irreducible).

子集 \(C\subset E\) 稱爲閉的, if 對任意 \(x\in C\), \(y\notin C\), 有 \(p_{x,y} := p^{(1)}_{x,y}=0\). 等價於對任意 \(x\in C\), 有 \(\sum\nolimits_{y\in C}p_{x,y}=1\). 閉集中任何狀態不能到達閉集外的狀態, 那麼 \(X\) 不可約 iff \(E\) 沒有非平凡的閉子集.

---

記首中時 \(\tau_y = \inf\{n\ge1:X_n=y\}\), 約定 \(\inf\varnothing=\infty\). 記 \(f_{x,y} = \mathbb P^x(\tau_y<\infty)\).

狀態 \(x\) 是常返的, if 知足下列條件 (這些條件是等價的).

• \(f_{x,x} = 1\);
• \(\mathbb P^x(\limsup\{X_n=x\})=1\);
• \(\sum_n p^{(n)}_{x,y}=\infty\).

不然稱爲暫留. 在一個互達等價類中, 要麼全部狀態常返, 要麼全部狀態暫留.

---

狀態 \(x\) 的週期記爲 \(d(x)\), 爲 \(\{n\ge1:p^{(n)}_{x,x}>0 \}\) 的最大公因數, 約定空集時 \(d(x)=0\). 若 \(d(x)=1\), 則稱 \(x\) 是非週期的 (aperiodic).

若 \(X\) 是不可約非週期的 Markov 鏈, 則

• 若 \(x\), \(y\) 互達, 則 \(d(x)=d(y)\).
• 對任意 \(x\), \(y\), 存在 \(N\), 對任意 \(n>N\), 有 \(p^{(n)}_{x,y}>0\).

---

若 \(\mathbb E^x \tau_x<\infty\), 則稱 \(x\) 正常返, 不然稱爲零常返.
若 \(x\) 常返, 且 \(\lim_n p^{(n)}_{x,x}\) 存在, 則這個極限等於 \(1/\mathbb E^x \tau_x\).

---

\(E\) 上一個機率分佈 \((\pi_x:x\in E)\) 是轉移矩陣 \(P\) 的平穩分佈, if \(\pi P=\pi\) (把 \(\pi\) 看做行向量).

一個不可約非週期 Markov 鏈 \(X\) 有平穩分佈 \(\pi\), 則

• \(X\) 常返;
• 對任意 \(x\), \(y\), \(\lim_n p^{(n)}_{x,y}=\pi_y\), 平穩分佈是惟一的;
• 對任意 \(x\), \(\pi_x>0\).

---

例題. 來自 [1] p. 116 第 11 題, 原題多是來自 Dimitri P. Bertsekas 的那本 Introduction to Probability.

An absent-minded professor has \(r\) umbrellas, used when commuting from home to work and back. If it rains and an umbrella is available, the professor takes it. If no umbrella is available, the professor gets wet. If it does not rain, the professor does not take the umbrella. It rains on a given commute with probability \(p\), independently for all days.

(1) What is the steady-state probability that the professor will get wet on a given day?

(2) Show that for any \(p\), 5 umbrellas can make sure that the professor does not get wet with probability greater than 0.95.

Solution. 用 \(X_n\) 表示他第 \(n\) 次出門時手邊的傘的數目, 則這是一個不可約 Markov 鏈.

\(p_{0,r}=1\).
\(p_{x,r-x} = 1-p\), \(p_{x,r+1-x} = p\), for \(x=1,\dots,r\).

\(\pi_0=(1-p)\pi_r\),
\(\pi_x=(1-p)\pi_{r-x}+p\pi_{r+1-x}\), for \(x=1,\dots,r-1\),
\(\pi_r=\pi_0+p\pi_1\).

可得平穩分佈
\(\pi_0 = (1-p)/(1+r-p)\),
\(\pi_x = 1/(1+r-p)\) for \(x = 1,\dots,r\).

故淋溼的極限爲 \(p(1-p)/(1+r-p)\).
5 把傘淋溼機率最大約爲 0.0455.

References

[1] 應堅剛, 金蒙偉. (2017). 隨機過程基礎 (第二版) (pp. 98-116). 上海: 復旦大學出版社.