HMM 前向後向算法（轉）

最近研究NLP頗感興趣，但因爲比較懶，因此只好找來網上別人的比較好的博客，備份一下，也方便本身之後方便查找（其實，通常是不會再回過頭來看的，嘿嘿 -_-!!)

代碼本身從新寫了一遍，因此就不把原文代碼貼過來了。

1. 前向算法（摘自http://www.cnblogs.com/kaituorensheng/archive/2012/12/01/2797230.html）

隱馬模型的評估問題即，在已知一個觀察序列O=O₁O₂...O_T，和模型μ=（A,B,π}的條件下，觀察序列O的機率，即P(O|μ}

                   

      若是窮盡全部的狀態組合，即S₁S₁...S₁, S₁S₁...S₂, S₁S₁...S₃, ..., S₃S₃...S₃。這樣的話t₁時刻有N個狀態，t₂時刻有N個狀態...t_T時刻有N個狀態，這樣的話一共有N*N*...*N= N^T種組合，時間複雜度爲O(N^T),計算時，就會出現「指數爆炸」，當T很大時，簡直沒法計算這個值。爲解決這一問題，Baum提出了前向算法。

      概括過程

      首先引入前向變量α_t(i):在時間t時刻，HMM輸出序列爲O₁O₂...O_T,在第t時刻位於狀態s_i的機率。

      當T=1時，輸出序列爲O₁,此時計算機率爲P(O₁|μ）：假設有三個狀態（以下圖）一、二、3，輸出序列爲O₁，有三種可能一是狀態1發出，二是從狀態2發出，三是從狀態3發出。另外從狀態1發出觀察值O₁得機率爲b₁(O₁),從狀態2發出觀察值O₁得機率爲b₂(O₁),從狀態3發出觀察值O₁得機率爲b₃(O₁)。所以能夠算出

     P(O₁|μ）= π₁*b₁(O₁)+π₂*b₂(O₁) +  π₃*b₃(O₁)= α₁(1) + α₁(2) + α₁(3)

                                     

      當T=2時，輸出序列爲O₁O₂,此時計算機率爲P(O₁O₂|μ）：假設有三個狀態（以下圖）一、二、3，輸出序列爲O₁，有三種可能一是狀態1發出，二是從狀態2發出，三是從狀態3發出。另外從狀態1發出觀察值O₂得機率爲b₁(O₂),從狀態2發出觀察值O₂得機率爲b₂(O₂),從狀態3發出觀察值O₂得機率爲b₃(O₂)。

      要是從狀態1發出觀察值O₂，可能從第一時刻的一、2或3狀態裝換過來，要是從狀態1轉換過來，機率爲α₁(1)*a₁₁*b₁(O₂),要是從狀態2轉換過來，機率爲α₁(2)*a₂₁*b₁(O₂),要是從狀態3轉換過來，機率爲α₁(3)*a₃₁*b₁(O₂),所以

     P(O₁O_2,q₂₌s₁|μ）= α₁(1)*a₁₁*b₁(O₂)  + α₁(2)*a₂₁*b₁(O₂) + α₁(3)*a₃₁*b₁(O₂)=α₂(1)

                                     

      同理：P(O₁O_2,q₂₌s₁|μ）= α₁(1)*a₁₂*b₂(O₂)  + α₁(2)*a₂₂*b₂(O₂) + α₁(3)*a₃₂*b₂(O₂)=α₂(2)

               P(O₁O_2,q₂₌s₁|μ）= α₁(1)*a₁₃*b₁(O₂)  + α₁(2)*a₂₃*b₃(O₂) + α₁(3)*a₃₃*b₃(O₂)=α₂(3)

     因此：P(O₁O₂|μ）=P(O₁O_2,q₂₌s₁|μ）+ P(O₁O_2,q₂₌s₁|μ）+ P(O₁O_2,q₂₌s₁|μ）

                             =α₂(1) + α₂(2) + α₂(3)

      以此類推。。。

      前向算法

       step1 初始化：α₁(i) = π_i*b_i(O₁), 1≤i≤N

       step2 概括計算:

                           

       step3 終結：

                      P(O|μ）=

      時間複雜度

      計算某時刻的某個狀態的前向變量須要看前一時刻的N個狀態，此時時間複雜度爲O(N),每一個時刻有N個狀態，此時時間複雜度爲N*O(N)=O(N²),又有T個時刻，因此時間複雜度爲T*O(N²)=O(N²T)。

      程序例證

       

        前向算法計算P(O|M)：

        step1：α₁(1) =π₁*b₁(red)=0.2*0.5=0.1          α₁(2)=π₂*b₂(red)==0.4*0.4= 0.16          α₁(3)=π₃*b₃(red)==0.4*0.7=0.21

        step2：α₂(1)=α₁(1)*a₁₁*b₁(white) + α₁(2)*a₂₁*b₁(white) + α₁(3)*a₃₁*b₁(white)

                     ...

        step3:P(O|M) = α₃(1)+α₃(2)+α₃(3)

2. 後向算法(摘自http://www.cnblogs.com/kaituorensheng/archive/2012/12/03/2800489.html)

對於HMM的評估問題，利用動態規劃能夠用前向算法，從前到後算出前向變量；也能夠採用後向算法，從後到前算出後向變量。

先介紹後向變量β_t(i):給定模型μ=（A,B,π），而且在時間 時刻t 狀態爲s_i 的前提下，輸出序列爲O_t+1O_t+2...O_T的機率，即

                                    β_t(i)=P(O_t+1O_t+2...O_T|q_t=s_i,μ)

概括過程

    假設仍然有3個狀態

                  

    當t=T時，按照定義：時間t  狀態q_T 輸出爲O_T+1......的機率，從T+1開始的輸出是不存在的（由於T時刻是終止終止狀態），即T以後是空，是個必然事件，所以β_t(i)=1,1≤1≤N

    當t=T-1時，

                          

                 β_T-1(i)=P(O_T|q_T-1=s_i,μ) = a_i1*b₁（O_T)*β_T(1)  +  a_i2*b₂（O_T)*β_T(2)  +  a_i3*b₃（O_T)*β_T(3)

      ......

    當t=1時，

       β₁(1)=P(O₂O_3...O_T|q₂=s₁,μ) = a₁₁*b₁（O₂)*β₂(1) + a₁₂*b₂（O₂)*β₂(2) + a₁₃*b₃（O₂)*β₂(3)

       β₁(2)=P(O₂O_3...O_T|q₂=s₁,μ) = a₂₁*b₁（O₂)*β₂(1) + a₂₂*b₂（O₂)*β₂(2) + a₂₃*b₃（O₂)*β₂(3)

       β₁(3)=P(O₂O_3...O_T|q₂=s₁,μ) = a₃₁*b₁（O₂)*β₂(1) + a₃₂*b₂（O₂)*β₂(2) + a₃₃*b₃（O₂)*β₂(3)

       P(O₁O₂...O_T|μ) =    

                             =   

                             =  

後向算法

    step1 初始化：β_T(i)=1, 1≤1≤N

    step2 概括計算：

                       1≤t≤T-1, 1≤i≤N

    step3 求終結和：

                   P(O|μ）=  

時間複雜度

    計算某時刻在某個狀態下的後向變量須要看後一時刻的N個狀態，此時時間複雜度爲O(N),每一個時刻有N個狀態，此時時間複雜度爲N*O(N)=O(N²),又有T個時刻，因此時間複雜度爲T*O(N²)=O(N²T)。

程序例證

              

後向算法

    計算P(O|M)：

    step1：β₄(1) = 1          β₄(2) = 1          β₄(3) = 1

    step2：β₃(1) = β₄(1)*a₁₁*b₁(white) + β₄(2)*a₁₂*b₂(white) + β₄(3)*a₁₃*b₃(white)

                     ...

    step3:P(O|M) = π₁*β₁(1)*b₁(O₁) + π₂*β₁(2)*b₂(O₁) + π₃*β₁(3)*b₃(O₁)

3.前向-後向算法(摘自http://www.cnblogs.com/kaituorensheng/archive/2012/12/05/2803182.html)

從新回顧：

    前向變量α_t(i):在時刻t,在已知模型μ=（A,B,π）的條件下，狀態處於s_i,輸出序列爲O₁0₂...O_t,前向變量爲α_t(i)

    後向變量β_t(i):在時刻t,在已知模型μ=（A,B,π）和狀態處於s_i的條件下，輸出序列爲O_t+1O_t+2...O_T,後向變量爲β_t(i)

公式推導：

    P(O,q_t=s_i|μ） = P(O₁O₂...O_T, q_t=s_i|μ）

                         =P(O₁O₂...O_t, q_t=si,O_t+1O_t+2...O_T|μ)

                         =P(O₁O₂...O_t, q_t=si|μ) * P(O_t+1O_t+2...O_T|O₁O₂...O_t, q_t=si,μ)

                         =P(O₁O₂...O_t, q_t=si|μ) * P(O_t+1O_t+2...O_T|q_t=si,μ)

                         =α_t(i) *  β_t(i)

     P(O|μ）=

案例分析：

    

      分析：

        P(q₄=s₃|O,M) =  P(q₄=s₃, O|M)/P(O|M)

                            = P(O,q₄=s₃|M)/P(O|M)

                            = α₄(3) *  β₄(3)/