隱馬爾科夫模型-前向算法
在該篇文章中講了隱馬爾科夫模型（HMM）一基本模型與三個基本問題 隱馬爾科夫模型-基本模型與三個基本問題，這篇文章總結一下隱馬爾科夫鏈（HMM）中的前向與後向算法，首先給出這倆個算法是爲了解決HMM的第一個基本問題。python
先回憶一下第一個問題：
第一個問題是求，給定模型的狀況下，求某種觀測序列出現的機率。
算法
好比，給定的HMM模型參數已知，求出三天觀察是(Dizzy,Cold,Normal)的機率是多少？(對應的HMM模型參數已知的意思，就是說的A(trainsition_probability),B(emission_probability),pi矩陣是已經知道的。)ide
相關條件以下圖所示：
spa
由上圖所示，也就是說，能夠寫成以下代碼：
trainsition_probability = [[0.7,0.3],[0.4,0.6]]
emission_probability = [[0.5,0.4,0.1],[0.1,0.3,0.6]]
pi = [0.6,0.4]
3d
在第一個問題中，咱們須要求解出三天觀察是(Dizzy,Cold,Normal)的機率是多少？code
這裏爲了演示簡單，我只求解出倆天觀察爲(Dizzy,Cold)的機率是多少！orm
這個問題太好求解了，最暴力的方法就是將路徑所有遍歷一遍。下面儘量通俗易懂的說明一下：
首先畫出時間序列狀態圖以下：
blog
下面，我詳細走一遍一條路徑的暴力算法，這樣既能夠避開公式的晦澀，也不失正確性。其它路徑徹底相似it
第一天爲Healthy的機率爲：0.6io
在第一天爲Healthy的基礎上，觀察爲Dizzy的機率爲：P（Dizzy|Healthy）=0.6P(Healthy->Dizzy)=0.60.1=0.06
而後求出在第一天爲Healthy的基礎上，而且第一天表現爲Dizzy的前提下，次日也爲Healthy的機率爲：
P(Healthy|Healthy,Dizzy) = P(Dizzy|healthy)07 = 0.060.7
上面求完的時候，表明下圖中的紅線已經轉移完了。
好，那麼當在前面基礎上，次日觀察爲Cold的機率爲：
P(Cold|(Healthy,Dizzy),(Healthy)) = P(Healthy|Healthy,Dizzy)0.4 = 0.060.7*0.4
如今咱們已經完成一條路徑的完整結果了。
就是在第一天隱含狀態爲Healthy和次日隱含狀態爲Healthy的基礎上，觀察序列爲Dizzy，Cold的機率爲
P（Dizzy,Cold|Healthy,Healthy） = 0.060.70.4=0.0168
那麼同理，咱們就能夠求出其它三條路徑。
（1）在第一天隱含狀態爲Healthy和次日隱含狀態爲Fever的基礎上，觀察序列爲Dizzy，Cold的機率
（2）在第一天隱含狀態爲Fever和次日隱含狀態爲Healthy的基礎上，觀察序列爲Dizzy，Cold的機率
（3）在第一天隱含狀態爲Fever和次日隱含狀態爲Fever的基礎上，觀察序列爲Dizzy，Cold的機率
而後最後的第一個問題的結果就是將這四個結果相加起來就能夠了。是否是很簡單，那麼爲了還須要前向後向算法來解決這個事呢？
其實這個算法在現實中是不可行的。我給的例子因爲是爲了講解容易，狀態值和觀察值都很小，可是實際中的問題，隱狀態的個數是很是大的。
那麼咱們的計算量是不能夠忍受的。
咱們能夠稍微估計一下，加入狀態值是N個，觀察值是K個。總共觀察長度爲T。
那麼咱們的路徑總個數就是N的T次方,個人天，這個複雜度已經接受不了了，到達了每一個隱含狀態的時候，還須要算一遍觀察值出現的機率（每一個隱狀態計算一遍到觀察值的機率）。又要乘以NT（固然這已經對前面很大複雜度構成不了多少做用了）
因此咱們得出結論，暴力法在這裏並不實用，因而就引出了前向後向算法。它們都是基於動態規劃思想求解。下面介紹一下：
1
前向算法
咱們首先定義一下前向機率
定義：給定隱馬科夫模型lamda，定義到時刻t爲止的觀測序列爲01,02,03....0t且狀態爲qi的機率爲前向機率，記做
能夠遞推地求得前向機率 及觀測序列機率 。
下面，咱們能夠整理一下前向算法的流程：
輸入：隱馬爾可夫模型，觀測序列
輸出：觀測序列機率
(1)初值
前向機率的定義中一共限定了兩個條件。
一是到當前爲止的觀測序列，另外一個是當前的狀態。因此初值的計算也有兩項（觀測和狀態），一項是初始狀態機率，另外一項是發射到當前觀測的機率。
(2)遞推對t=1,2,3,.....,T-1
每次遞推一樣由兩部分構成，大括號中是當前狀態爲i且觀測序列的前t個符合要求的機率，括號外的是狀態i發射觀測t+1的機率。
下面稍微解釋一下公式：
(3)終止
因爲到了時間T，一共有N種狀態發射了最後那個觀測，因此最終的結果要將這些機率加起來（由於每一個隱狀態均可能產生咱們須要的觀測值，因此都要加起來）。
公式能夠用下面的轉移圖表示，假設我要求第二層某個結點的前向機率，等於前一層全部結點到該結點的轉移，以下圖：
因爲每次遞推都是在前一次的基礎上進行的，因此下降了複雜度（計算只存在於相鄰的倆個時間點）。計算以下圖所示：
下方標號表示時間節點，每一個時間點都有N種狀態，因此相鄰兩個時間之間的遞推消耗N^2次計算。
而每次遞推都是在前一次的基礎上作的，因此只需累加O(T)次，因此整體複雜度是O(T)個N^2，即0（TN^2）,這比起咱們前面說的暴力法的複雜度已經好了太多了。
到這裏爲止，前向算法也就講完了。本文經過一個具體簡單例子，走了一遍過程，期間有一些本身的總結和理解，但願對你們有幫助~
2
python實現代碼
代碼以下：
近期文章預告：
《隱馬爾科夫模型-後向算法》
《隱馬爾科夫模型-維特比算法》
《深刻淺出講解支持向量機（SVM）》
推薦閱讀文章：
隱馬爾科夫模型-基本模型與三個基本問題
深刻淺出理解決策樹算法（一）-核心思想
帶你搞懂樸素貝葉斯分類算法
全是通俗易懂的硬貨！只需置頂~歡迎關注交流~