馬爾科夫鏈與轉移矩陣（轉載）

時間 2019-11-21

標籤轉移矩陣轉載欄目應用數學简体版

原文原文鏈接

什麼是轉移機率矩陣(Transition Probability Matrix)php

　　轉移機率矩陣：矩陣各元素都是非負的，而且各行元素之和等於1，各元素用機率表示，在必定條件下是互相轉移的，故稱爲轉移機率矩陣。如用於市場決策時，矩陣中的元素是市場或顧客的保留、得到或失去的機率。P^(k)表示k步轉移機率矩陣。數組

轉移機率矩陣的特徵

　　轉移機率矩陣有如下特徵：函數

　　①,0≤P_ij≤1spa

　　② $\sum^{n}_{j-1}P_i j=1$ ，即矩陣中每一行轉移機率之和等於1。事件

轉移機率矩陣的分析

　　所謂矩陣，是指許多個數組成的一個數表。每一個數稱爲矩陣的元素。矩陣的表示方法是用括號將矩陣中的元素括起來，以表示它是一個總體。如Ａ就是一個矩陣。get

　　 $A=\begin{bmatrix} a_{11},a_{12}\cdots & a_{1n} \\ \bullet \bullet & \bullet \\ \bullet \bullet & \bullet\\ \bullet \bullet & \bullet\\ a_{21},a_{22}\cdots & a_{2n}\\ a_{m1},a_{m2}\cdots & a_{mn}\end{bmatrix}$

　　這是一個由m行n列的數構成的矩陣，表示位於矩陣中第i行與第j列交叉點上的元素，矩陣中的行數與列數能夠相等，也能夠不等。當它們相等時，矩陣就是一個方陣。it

　　由轉移機率組成的矩陣就是轉移機率矩陣。也就是說構成轉移機率矩陣的元素是一個個的轉移機率。io

　　 $R=\begin{bmatrix} P_{11},P_{12}\cdots & P_{1n} \\ \bullet \bullet & \bullet \\ \bullet \bullet & \bullet\\ \bullet \bullet & \bullet\\ P_{21},P_{22}\cdots & P_{2n}\\ P_{m1},P_{m2}\cdots & P_{mn}\end{bmatrix}$

轉移機率與轉移機率矩陣^[1]

　　假定某大學有1萬學生，每人每個月用1支牙膏，而且只使用「中華」牙膏與「黑妹」牙膏二者之一。根據本月（12月）調查，有3000人使用黑妹牙膏，7000人使用中華牙膏。又據調查,使用黑妹牙膏的3000人中，有60％的人下月將繼續使用黑妹牙膏，40％的人將改用中華牙膏；使用中華牙膏的7000人中，有70％的人下月將繼續使用中華牙膏，30％的人將改用黑妹牙膏。據此，能夠獲得如表－1所示的統計表。table

　　　　　　　　　表－1 兩種牙膏之間的轉移機率方法

擬用	黑妹牙膏	中華牙膏
現用
黑妹牙膏	60％	40％
中華牙膏	30％	70％

　　上表中的4個機率就稱爲狀態的轉移機率，而這四個轉移機率組成的矩陣

　　 $B=\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　稱爲轉移機率矩陣。能夠看出，轉移機率矩陣的一個特色是其各行元素之和爲１。在本例中，其經濟意義是：如今使用某種牙膏的人中，未來使用各類品牌牙膏的人數百分比之和爲1。

　　2．用轉移機率矩陣預測市場佔有率的變化

　　有了轉移機率矩陣，就能夠預測，到下個月（１月份）使用黑妹牙膏和中華牙膏的人數，計算過程以下：

　　 $(3000.7000) \begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix} =(3900,6100)$

　　即：1月份使用黑妹牙膏的人數將爲3900，而使用中華牙膏的人數將爲6100。

　　假定轉移機率矩陣不變，還能夠繼續預測到2月份的狀況爲：

　　 $(3900,6100)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　 $=(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　 $=(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}^2=(4170,5830)$

　　這裏 $\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}^2$ 稱爲二步轉移矩陣，也即由12月份的狀況經過2步轉移到2月份的狀況。二步轉移機率矩陣正好是一步轉移機率矩陣的平方。通常地， k步轉移機率矩陣

　　正好是一步轉移機率矩陣的k次方。能夠證實，k步轉移機率矩陣中,各行元素之和也都爲1。

轉移機率矩陣案例分析

案例一: 用轉移機率矩陣預測市場佔有率的變化^[1]

　　有了轉移機率矩陣，就能夠預測，到下個月（１月份）使用黑妹牙膏和中華牙膏的人數，計算過程以下：

　　 $(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}=(3900,6100)$

　　即：1月份使用黑妹牙膏的人數將爲3900，而使用中華牙膏的人數將爲6100。假定轉移機率矩陣不變，還能夠繼續預測到2月份的狀況爲：

　　 $(3900,6100)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　= $(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　= $(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}^2$

　　=(4170,5830)

　　這裏 $\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}^2$

　　稱爲二步轉移矩陣，也即由１２月份的狀況經過２步轉移到2月份的狀況。二步轉移機率矩陣正好是一步轉移機率矩陣的平方。通常地， k步轉移機率矩陣正好是一步轉移機率矩陣的k次方。能夠證實，k步轉移機率矩陣中,各行元素之和也都爲1。

什麼是轉移機率

　　轉移機率是馬爾可夫鏈中的重要概念，若馬氏鏈分爲m個狀態組成，歷史資料轉化爲由這m個狀態所組成的序列。從任意一個狀態出發，通過任意一次轉移，必然出現狀態一、二、……，m中的一個，這種狀態之間的轉移稱爲轉移機率。

　　當樣本中狀態m可能發生轉移的總次數爲i，而由狀態m到將來任一時刻轉爲狀態a_i的次數時，則在m+n時刻轉移到將來任一時刻狀態a_j的轉移機率爲：

$P_{ij}(m,m+n)=P\left\{X_m+n = a_j|X_m=a_i \right\}$

　　這些轉移移機率能夠排成一個的轉移機率矩陣：P(m,m+n)(P_ij(m,m+ n))

　　當m=1時爲一階轉機率矩陣， $m\ge2$ 時爲高階機率轉移矩陣，有了機率轉移矩陣，就獲得了狀態之間經一步和多步轉移的規律，這些規律就是貸款狀態間演變規律的表，當初始狀態已知時，能夠查表作出不一樣時期的預測。

什麼是馬爾可夫過程

　　一、馬爾可夫性(無後效性)

　　過程或（系統）在時刻t₀所處的狀態爲已知的條件下，過程在時刻t > t₀所處狀態的條件分佈，與過程在時刻t₀以前處的狀態無關的特性稱爲馬爾可夫性或無後效性。

　　即：已知過程「如今」的狀況，過程「未來」的狀況與「過去」的狀況是無關的。

　　二、馬爾可夫過程的定義

　　具備馬爾可夫性的隨機過程稱爲馬爾可夫過程。

　　用分佈函數表述馬爾可夫過程：

　　設I：隨機過程{X(t),t\in T}的狀態空間，若是對時間t的任意n個數值:

　　 $P{X(t_n)\le x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots ,X(t_{n-1})=x_{n-1}}$ （注：X(t_n)在條件X(t_i) = x_i下的條件分佈函數）

　　 $=P{X(t_n\le x_n|X(t_{n-1})=x_{n-1}},x_n\in R$ (注：X(t_n))在條件X(t_{n − 1}) = x_{n − 1}下的條件分佈函數）

　　或寫成：

　　 $F_{t_n|t_1\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})$

　　 $F_{t_n|t_{n-1}}(x_n,t_n|x_{n-1},t_{n-1})$

　　這時稱過程 $X(t),t\in T$ 具馬爾可夫性或無後性，並稱此過程爲馬爾可夫過程。

　　三、馬爾可夫鏈的定義

　　時間和狀態都是離散的馬爾可夫過程稱爲馬爾可夫鏈, 簡記爲 ${X_n=X(n),n=0,1,2,\cdots}$ 。

[編輯]

馬爾可夫過程的機率分佈

　　研究時間和狀態都是離散的隨機序列: ${X_n=X(n),n=0,1,2,\cdots}$ ,狀態空間爲 $I={a_1,a_2,\cdots},a_i\in R$

　　一、用分佈律描述馬爾可夫性

　　對任意的正整數n,r和 $0\le t_1<t_2<\cdots <t_r<m;t_i,m,n+m\in T_i$ ，有：

　　 $P{X_{m+n}=a_j|X_{t_1}=a_{i_1},X_{t_2}=a_{i_2},\cdots,X_{t_r}=a_{i_r},X_m=a_i}$

　　PX_{m + n} = a_j | X_m = a_i，其中 $a_i\in I$ 。

　　二、轉移機率

　　稱條件機率P_ij(m,m + n) = PX_{m + n} = a_j | X_m = a_i爲馬氏鏈在時刻m處於狀態a_i條件下，在時刻m+n轉移到狀態a_j的轉移機率。

　　說明：轉移機率具胡特色：

　　 $\sum_{j=1}^\infty P_{ij}(m,m+n)=1,i=1,2,\cdots$ 。

　　由轉移機率組成的矩陣稱爲馬氏鏈的轉移機率矩陣。它是隨機矩陣。

　　三、平穩性

　　當轉移機率P_ij(m,m + n)只與i,j及時間間距n有關時，稱轉移機率具備平穩性。同時也稱些鏈是齊次的或時齊的。

　　此時，記P_ij(m,m + n) = P_ij(n),P_ij(n) = PX_{m + n} = a_j | X_m = a_i(注：稱爲馬氏鏈的n步轉移機率)

　　P(n) = (P_ij(n))爲n步轉移機率矩陣。

　　特別的, 當 k=1 時,

　　一步轉移機率：P_ij = P_ij(1) = PX_{m + 1} = a_j | X_m = a_i。

　　一步轉移機率矩陣：P(1)

[編輯]

馬爾可夫過程的應用舉例

　　設任意相繼的兩天中，雨天轉晴天的機率爲1/3，晴天轉雨天的機率爲1/2，任一天晴或雨是互爲逆事件。以0表示晴天狀態，以1表示雨天狀態，X_n表示第n天狀態（0或1）。試定出馬氏鏈 $X_n,n\ge 1$ 的一步轉移機率矩陣。又已知5月1日爲晴天，問5月3日爲晴天，5月5日爲雨天的機率各等於多少？

　　解：因爲任一天晴或雨是互爲逆事件且雨天轉晴天的機率爲1/3，晴天轉雨天的機率爲1/2，故一步轉移機率和一步轉移機率矩陣分別爲：

　　 $P{X_n=j|X_{n-1}=i}=\begin{cases}\frac{1}{3},i=1,j=0\\\frac{2}{3},i=1,j=1\\\frac{1}{2},i=0,j=0\\\frac{1}{2},i=0,j=1\end{cases}$

　　故5月1日爲晴天，5月3日爲晴天的機率爲：

　　 $P_{00}(2)=\frac{5}{12}=0.4167$

　　又因爲：

　　故5月1日爲晴天，5月5日爲雨天的機率爲：P₀₁(4) = 0.5995　　