馬爾可夫鏈的常返態和非常返態

一 非常返狀態的定義 設I={1、2、3、4}，轉移概率如圖1所示，可以計算出狀態2和狀態3有相同的週期d=2。但由狀態3出發經兩步必定返回到3，而狀態2則不然，當狀態2轉移到狀態3後，便不可以返回到狀態2，因此爲了區分着兩種狀態，引入了常返性概念。 記    （1）   顯然由馬氏鏈性質於齊次性上式右方與m無關。它表示質點由狀態i出發，經n步首次到達狀態j的概率，也稱爲首中概率（或首達概率）。記

>>阅读原文<<