理解馬爾科夫過程

　　

---

隨機變量
　　-　通俗地講，是指隨機事件的數量表現。
　　-　從變量取值的不一樣能夠分爲離散型隨機變量和連續型隨機變量。
　　　　·　離散型：變量取值只能取離散型的天然數。
　　　　·　連續型：變量能夠在某個區間內取任一實數（變量的取值能夠是連續的）。
　　　　·　參考連接：
　　　　　　-　 離散型隨機變量與連續型隨機變量的區別與特色~
　　　　　　- 　隨機變量（百度百科/維基百科）
　　

---

隨機過程
　　-　通俗地講，是指隨機變量的集合。
　　-　記爲{ x ( t ) , t ∈ T }。
　　-　x ( t ) 表示在同一狀態空間E中取值的隨機變量。 E 能夠爲可數多個離散性狀態，也能夠取任意連續型狀態。
　　-　T 表示參數集。根據 T 爲可數參數集/不可數參數集，{ x ( t ) , t ∈ T }爲離散參數/連續參數的隨機過程。
　　-　隨機序列： T 爲可數集的隨機過程。
　　-　隨機過程能夠表示一個系統的特徵（系統的變化過程）。
　　

---

馬爾科夫過程（馬氏過程）
　　-　定義：具備無後效性的隨機過程。
　　-　無後效性：當系統在時刻 tm 所處的狀態爲已知時，系統在大於 tm 的時刻 t 所處狀態的機率特性只與系統在 tm 時刻所處的狀態有關，而與系統在 tm 時刻之前的狀態無關。
　　-　通俗地講，系統在當前時刻所處的狀態僅僅與系統上一時刻所處的狀態有關；系統在下一時刻所處的狀態僅僅與系統當前時刻所處的狀態有關，與系統上一時刻所處的狀態無關。
　　-　例題：判斷是不是馬氏過程？
　　　  某企業實行技術人員在生產部門、技術部門和銷售部門輪換工做的制度，以便使技術人員具備多方面的實際工做經驗。輪換的辦法是採起隨機形式，每半年輪換一次。每一個技術人員下一輪所去的部門並非機會均等的，也可能在原部門再工做一輪。
　　　　答案：不是。很容易地看出來，該輪崗過程是不具備無後效性這一特徵的。
　　-　根據 E 和 T ，馬氏過程能夠分爲4類：
　　　　·　時間離散，狀態離散的馬氏過程，又稱 馬爾科夫鏈（馬氏鏈）。
　　　　·　時間離散，狀態連續的馬氏過程。時間連續，狀態離散的馬氏過程。時間連續，狀態離散的馬氏過程。

---

符合馬氏過程的相關例子
　　例一、（直線上的隨機遊動）
　　一個質點在零時刻處於實數軸上的原點的位置。每隔單位時間右移或左移一個單位長度，右移的機率爲p（0 < p < 1 ），左移的機率爲q，其中q=1-p。記質點在第n時刻的位置爲X（n），n=0，1，2，…。質點在直線上的移動是隨機的，故稱之爲質點在直線上的隨機遊動。
　　解析：該過程是一個馬氏過程。在圖上畫一個數軸。當 n=0 時，質點在 0 點，有 p 的機率右移一個單位，有 q 的機率左移一個單位。假設質點右移 1 單位，移到了 1 這個位置點。當 n=1 的時候，質點在 1 點，仍然是有 p 的機率右移一個單位，有 q 的機率左移一個單位。假設質點仍然右移 1 單位，移到了 2 這個位置點。當 n=2 時，質點在 2 點。接下來 n=3 時質點移動到的點的狀態要麼是 1 ，要麼是 3，跟 n=2 時質點的位置狀態有關，跟 n=1 以及 n=0 時質點的位置狀態無關。符合無後效性。所以，具備無後效性的隨機過程是馬氏過程。（其實很簡單地畫個圖就能講明白了，感受被本身說複雜了）
　　例二、（電話交換站的呼喚次數）
　　電話交換站在t時刻前來到的呼喚次數X（t）（即時間[0，t]內來到的呼喚數）是一個隨機過程。已知如今tm時刻前來到的呼喚次數，將來時刻t（t> tm）前來到的呼喚數只依賴於tm時刻前來到的呼喚數，這是由於[0，t]內來到的呼喚數等於[0，tm]時間內來到的呼喚次數加上（tm，t]時間內來到的呼喚數，而（tm，t]時間內來到的呼喚數與tm之前來到的呼喚數相互獨立。所以，X（t）具備無後效性，是馬爾科夫過程。
　　例三、（布朗運動）
　　將一顆小花粉放在水面上，因爲水分子的衝擊，使它在液麪上隨機地運動。這種遊動物理上稱爲布朗運動。在水面上做一平面直角座標系，不妨取花粉的起始位置爲座標原點。考察在t時刻花粉所處位置的x座標，記爲X（t）。因爲tm時刻後花粉的位置僅依賴於如今（ tm時刻）的位置，而與過去花粉的位置無關，因此花粉隨機遊動具備無後效性。於是，X（t）也具備無後效性，是馬爾科夫過程。一樣地，花粉位置的Y（t）也是馬爾科夫過程。
　　例四、（疾病死亡模型，Fix-Neyman（1951））
　　考慮一個包含兩個健康狀態S1和S2以及兩個死亡狀態S3和S4（即由不一樣緣由引發的死亡）的模型。若個體病癒，則認爲它處於狀態S1；若患病，則認爲它處於S2，個體能夠從S1和S2進入S3和S4。這是一個馬爾科夫過程。
　　例5 （賭徒破產或帶吸取壁的隨機遊動）
　　系統的狀態是0到n，反映賭博者A在賭博期間擁有的錢數，當他輸光或擁有錢數爲n時，賭博中止；不然，他將持續賭博，每次以機率p贏得1，以機率q=1-p輸掉1。這個系統也是馬爾科夫過程。
　　例6 例5中當A輸光時，將得到贊助讓他繼續賭下去，其他條件不變，則這個也是馬爾科夫過程。
　　例7 （自由隨機遊動）
　　設一個球在全直線上作無限制的隨機遊動，它的狀態爲0，±1，±2，…。這個系統也是馬爾科夫過程。

---

馬爾科夫鏈（馬氏鏈）
　　-　定義1（以下圖）：

　　-　通俗地解釋定義1：由機率論知識得，第n個狀態的條件機率等於以前n-1個狀態都成立時第n個狀態出現的機率，因爲馬爾科夫性質，則簡化成第n個狀態的條件機率就等於第n-1個狀態條件下狀態n出現的機率。

　　-　記爲 { X （ n ），n=0,1,2,… }
　　-　特性：已知系統的當前狀態，就足以預計系統在下一步上出現某一狀態的可能性，而沒必要考慮系統在過去曾經到達的狀態，以及如何到達目前狀態的過程。（進行預測）
　　-　馬氏鏈在n時刻的k步轉移機率：

　　-　轉移機率表示已知 n 時刻處於狀態 i ，經 k 個單位時間後系統處於狀態 j 的機率。

---

齊次馬爾科夫鏈
　　-　一步轉移機率（k=1）

　　　　·　一步轉移機率的特色
　　　　·　一步轉移機率的矩陣形式

　　　　　　-　有限集下是一個N*N的方陣，N爲狀態空間E的數量

　　-　通常地說，獨立同分布的離散隨機變量序列 { X（n），n=0，1，2，…} 也是馬爾科夫鏈。