馬爾可夫更新過程與半馬爾可夫過程

Markov renewal process；semi-Markov process；Markov renewal counting process；

1、定義

【馬爾可夫更新過程】表示轉移時期和該時期的狀態，是一個二維（狀態，時間）隨機過程； 【半馬爾可夫過程】表示任意時刻馬爾科夫更新過程的某個狀態，是一個由馬爾科夫更新過程產生的一維隨機過程，其逗留時間是通常分佈的，不具備馬爾可夫性，未來取決於如今的狀態和在該狀態已停留的時間。但在各狀態轉移時刻({Tn,n>=0}是其更新點，或再生點），具備馬爾可夫性。

2、幾種隨機過程之間的區別和聯繫

【一、馬爾可夫過程和半馬爾可夫過程的關係】

在馬爾可夫過程當中，在每一個狀態的逗留時間服從指數分佈，因爲指數分佈的無記憶性，故任一時刻t都是更新點，也就是任一時刻都具備馬爾可夫性。可是，半馬爾可夫過程當中，在每一個狀態的逗留時間是通常分佈，所以不是全部時刻都是過程的更新點，而只有狀態轉移時刻是更新點，因此只有在這些更新點上才具備馬爾可夫性。

【二、半馬爾可夫過程和連續時間的馬爾可夫鏈的關係】

若是半馬爾可夫在各狀態的逗留時間都服從指數分佈，則獲得連續時間馬爾可夫鏈；

P[Xn+1=j，Tn+1-Tn<=t|(X0,T0)，(X1,T1)，...,(Xn=i,Tn)]

=P[Xn+1=j,Tn+1-Tn<=t|Xn=i] （注意，若Tn+1-Tn服從指數分佈）

=P[Xn+1=j,|Xn=i] (1-e^-λt) ，（n>=1,t>=0,且i,j屬於S）

【三、馬爾可夫更新過程和離散時間馬爾可夫鏈的關係】

P[Xn+1=j，Tn+1-Tn<=t|(X0,T0)，(X1,T1)，...,(Xn=i,Tn)] （忽略時間）

=P[Xn+1=j | X0,X1,...,Xn=i]

=P[Xn+1=j |Xn=i]

【四、馬爾可夫更新過程和更新過程的關係】

3、馬爾可夫更新過程

{X，T}={（Xn,Tn）,n>=0}具備以下性質：

一、X={Xn,n>=0}是狀態空間S上的轉移矩陣爲Q=Q(i,j)的馬爾可夫鏈，且和n無關，即爲齊次的。其中Q(i,j)=

二、

馬爾可夫更新過程是馬爾可夫過程的推廣，若是忽略馬爾可夫更新過程當中的時間變量，即逗留時間假定爲1，則獲得離散時間的馬爾可夫鏈。若是半馬爾可夫在各狀態的逗留時間都服從指數分佈，就可獲得連續時間馬爾可夫鏈。

馬爾可夫更新過程是更新過程的推廣。

在馬爾可夫更新過程當中，若是在某一狀態的逗留時間（獨立於下一狀態並服從指數分佈），則稱爲馬爾可夫過程；若是逗留時間等於單位時間1，則稱爲馬爾科夫鏈。

1.馬爾可夫更新過程

隨機變量Xn取值於狀態空間S={0，1,2，......}，Tn是取值[0，無窮）的隨機變量，而且0=T1<=T2<=...Tn-1<=Tn<=...，則稱隨機過程{（Xn,Tn）,n>=0}是馬爾可夫更新過程，若是對於任意n>=0，j屬於S，t>=0知足

P[Xn+1=j,Tn+1-Tn<=t|（X0，T0）,（X1，T1）,...,（Xn，Tn）]

=P[Xn+1=j,Tn+1-Tn<=t|Xn]

上式爲「半馬爾科夫性」，含義是，已知如今狀態Xn，未來狀態Xn+1與逗留在當前狀態的時間Tn+1-Tn的聯合分佈與過去的歷史X0,T0，X1,T1，...，Xn-1,Tn-1獨立。

馬爾可夫更新過程是將連續時間馬爾科夫的狀態逗留時間分佈由指數分佈推廣到通常分佈，故馬爾可夫更新更新過程當中，序列{Xn，n>=0}只具備半馬爾可夫性，即在狀態轉移時刻{Tn,n>=0}具備馬爾可夫性。

二、與馬爾可夫更新過程相聯繫的計數過程 更新過程N(t)是一計數過程，表示到時刻t的更新次數。 用Nk(t)表示guocheng