語音識別中GMM-HMM的相關知識

  本文講闡述在語音識別中GMM-HMM的知識。其中包括了對GMM（Gauss Mixture Model）和HMM（Hidden Markov Model）的定義、原理及其算法的介紹。

GMM（高斯混合模型）

  設有隨機變量X，則混合高斯模型可以用下式表示：

p(x)=∑k=1KπnN(x|μk,∑k) $$p\left(x\right)=\underset{k=1}{\overset{K}{\sum }}{\pi }_{n}N\left(x|{\mu }_k,\underset{k}{\sum }\right)$$

  其中 N(x|μk),∑k $N\left(x|{\mu }_k\right),\underset{k}{\sum }$稱爲高斯混合模型中的第K個分量。且滿足：

∑k=1Kπk=1，0≤πk≤1 $$\underset{k=1}{\overset{K}{\sum }}{\pi }_k=1，0\le {\pi }_k\le 1$$

  可以看到 πk ${\pi }_k$相當於每個分量 N(x|μk,∑k) $N\left(x|{\mu }_k,\underset{k}{\sum }\right)$的權重。

GMM參數估計過程

 GMM的貝葉斯理解

  在GMM的定義中， πk ${\pi }_k$是混合係數，表示第K個分佈被選中的概率。下面引入一個K維隨機變量Z，其中 zk $z_k$定義如下：

zk={10selectothersk,1≤k≤K $$z_k=\{\begin{array}{ccc}1& select& k\\ 0& others\end{array},1\le k\le K$$

  記第k個分佈被選中的概率爲 p(zk=1)=pk $p\left(z_k=1\right)=p_k$，那麼第k個分佈未被選中的概率爲 p(zk=0)=1−pk $p\left(z_k=0\right)=1-p_k$。因此，有： ∑Kzk=1 $\underset{K}{\sum }{z}_k=1$。假設 zk $z_k$之間是獨立同分布的，則z的聯合概率分佈形式爲：

p(z)=p(z1)p(z2)...p(zk)=∏k=1Kpzkk $$p\left(z\right)=p\left(z_1\right)p\left(z_2\right)...p\left(z_k\right)=\underset{k=1}{\overset{K}{\prod }}{p}_k^{z_k}$$

  類似的，給定z的一個特定的值，x關於z的條件概率分佈是一個高斯分佈 p(x|zk=1)=N(x|mk,∑k) $p\left(x|z_k=1\right)=N\left(x|m_k,\underset{k}{\sum }\right)$，也可以寫成

p(x|z)=∏k=1KN(x|m,∑k)zk $$p\left(x|z\right)=\underset{k=1}{\overset{K}{\prod }}N{\left(x|m,\underset{k}{\sum }\right)}^{z_k}$$

  聯合概率分佈爲 p(z)p(x|z) $p\left(z\right)p\left(x|z\right)$，從而x的邊緣概率分佈可以通過將聯合概率分佈對所有的z求和的方式得到，即

p(x)=∑Zp(z)p(x|z)=∑k=1K(∏k=1K(pzkk)N(x|mk,∑k)zk)=∑k=1KpkN(x|mk,∑k) $$p\left(x\right)=\underset{Z}{\sum }p\left(z\right)p\left(x|z\right)=\underset{k=1}{\overset{K}{\sum }}\left(\underset{k=1}{\overset{K}{\prod }}\left(p_k^{z_k}\right)N{\left(x|m_k,\underset{k}{\sum }\right)}^{z_k}\right)=\underset{k=1}{\overset{K}{\sum }}{p}_{k}N\left(x|m_k,\underset{k}{\sum }\right)$$

  根據貝葉斯定理，後驗概率可以表示爲：

γ(zk)=p(zk=1|x)=p(zk=1)p(x|zk=1)/∑j=1Kp(zj=1)p(x|zj=1)=πkN(x|μk,∑k)/∑j=1KπjN(x|μj,∑j) $$\gamma \left(z_k\right)=p\left(z_k=1|x\right)=p\left(z_k=1\right)p\left(x|z_k=1\right)/\underset{j=1}{\overset{K}{\sum }}p\left(z_j=1\right)p\left(x|z_j=1\right)={\pi }_{k}N\left(x|{\mu }_k,\underset{k}{\sum }\right)/\underset{j=1}{\overset{K}{\sum }}{\pi }_{j}N\left(x|{\mu }_j,\underset{j}{\sum }\right)$$

EM 算法估計GMM參數

  EM算法分兩步，第一步先求出要估計參數的粗略值，第二部使用第一步的值最大似然估計。因此要先求出GMM的似然函數。
假設 x={x1,x2,...,xN} $x=\left\{x_1,x_2,...,x_N\right\}$，GMM模型中有三個參數需要估計，分別爲 π,μ,∑ $\pi ,\mu ,\sum$。並且有：

p(x|π,μ,∑)=∑k=1KπkN(x|μk,∑k) $$p\left(x|\pi ,\mu ,\sum \right)=\underset{k=1}{\overset{K}{\sum }}{\pi }_{k}N\left(x|{\mu }_k,\underset{k}{\sum }\right)$$

  爲了估計這三個參數，需要分別求解出這三個參數的最大似然函數。先求解 μk ${\mu }_k$的最大似然函數。對上式取對數後在對 μk ${\mu }_k$求導並令導數爲0即得到最大似然函數。

0=−∑n=1NπkN(xn|μk,∑k)∑k(xn−μk)/∑jπkN(xn|μj,∑j) $$0=-\underset{n=1}{\overset{N}{\sum }}{\pi }_{k}N\left(x_n|{\mu }_k,\underset{k}{\sum }\right)\underset{k}{\sum }\left(x_n-{\mu }_k\right)/\underset{j}{\sum }{\pi }_{k}N\left(x_n|{\mu }_j,\underset{j}{\sum }\right)$$

  注意到上式中分數的一項的形式正好是後驗概率的形式。兩邊同乘 ∑−1k $\underset{k}{\overset{-1}{\sum }}$，重新整理可以得到：

μk=(1/Nk)∑n=1Nγ(znk)xn $${\mu }_k=\left(1/N_k\right)\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)x_n$$

  其中： Nk=∑Nn=1γ(znk) $N_k=\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)$上面兩式中，N表示點的數量。 γ(znk) $\gamma \left(z_{nk}\right)$表示點屬於聚類k的後驗概率。則 Nk $N_k$可以表示屬於第k個聚類的點的數量。那麼 μk ${\mu }_k$表示所有點的加權平均，每個點的權值是 ∑Nn=1γ(znk) $\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)$，跟第k個聚類有關。
  同理可求 ∑k $\underset{k}{\sum }$的最大似然函數，可以得到：

∑k=(1/Nk)∑n=1Nγ(znk)(xn−μk)(xn−μk)T $$\underset{k}{\sum }=\left(1/N_k\right)\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)\left(x_n-{\mu }_k\right){\left(x_n-{\mu }_k\right)}^T$$

  最後剩下 πk ${\pi }_k$的最大似然函數。注意到 πk ${\pi }_k$有限制條件 ∑Kk=1πk=1 $\underset{k=1}{\overset{K}{\sum }}{\pi }_k=1$，因此我們需要加入拉格朗日因子

lnp(x|π,μ,∑)+λ(∑k=1Kπk−1) $$lnp\left(x|\pi ,\mu ,\sum \right)+\lambda \left(\underset{k=1}{\overset{K}{\sum }}{\pi }_k-1\right)$$

  求上式關於 πk ${\pi }_k$的最大似然函數，得到：

0=∑n=1N(N(xn|μk,∑k)/∑jπjN(xn|μj,∑j))+λ $$0=\underset{n=1}{\overset{N}{\sum }}\left(N\left(x_n|{\mu }_k,\underset{k}{\sum }\right)/\underset{j}{\sum }{\pi }_{j}N\left(x_n|{\mu }_j,\underset{j}{\sum }\right)\right)+\lambda$$

  上式兩邊同乘 πk ${\pi }_k$，可以得到 λ=−N $\lambda =-N$，進而可以得到 πk ${\pi }_k$更簡潔的表達式：

πk=Nk/N $${\pi }_k=N_k/N$$

  EM算法估計GMM參數化 μk=(1/Nk)∑Nn=1γ(znk)xn ${\mu }_k=\left(1/N_k\right)\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)x_n$, ∑k=(1/Nk)∑Nn=1γ(znk)(xn−μk)(xn−μk)T $\underset{k}{\sum }=\left(1/N_k\right)\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)\left(x_n-{\mu }_k\right){\left(x_n-{\mu }_k\right)}^T$, πk=Nk/N ${\pi }_k=N_k/N$需要用到以上式子。我們先指定 π $\pi$， μ $\mu$， ∑ $\sum$(以下將以上三式稱爲1,2,3)的初始值，帶入後驗概率公式計算出 γ(znk) $\gamma \left(z_{nk}\right)$，然後再將帶入(1,2,3)式，得到 πk,μk,∑k ${\pi }_k,{\mu }_k,\underset{k}{\sum }$；接着用求得的 πk,μk,∑k ${\pi }_k,{\mu }_k,\underset{k}{\sum }$再帶入後驗概率公式得到新的 γ(znk) $\gamma \left(z_{nk}\right)$，再將更新後的帶入(1,2,3)，如此往復，直到算法收斂。

EM 算法

  1.定義分量數目K，對每個分量k設置 πk,μk,∑k ${\pi }_k,{\mu }_k,\underset{k}{\sum }$的初始值，然後計算

p(x|π,μ,∑)=∑k=1KπkN(x|μk,∑k) $$p\left(x|\pi ,\mu ,\sum \right)=\underset{k=1}{\overset{K}{\sum }}{\pi }_{k}N\left(x|{\mu }_k,\underset{k}{\sum }\right)$$

的對數似然函數。
  2.E step
 根據當前的 πk,μk,∑k ${\pi }_k,{\mu }_k,\underset{k}{\sum }$計算後驗概率 γ(znk) $\gamma \left(z_{nk}\right)$

γ(znk)=πkN(xn|μn,∑n)/∑j=1πjN(xn|μj,∑j) $$\gamma \left(z_{nk}\right)={\pi }_{k}N\left(x_n|{\mu }_n,\underset{n}{\sum }\right)/\underset{j=1}{\sum }{\pi }_{j}N\left(x_n|{\mu }_j,\underset{j}{\sum }\right)$$

  3.M step
  根據E step中計算 γ(znk) $\gamma \left(z_{nk}\right)$再計算新的 πk,μk,∑k ${\pi }_k,{\mu }_k,\underset{k}{\sum }$

μnewk=(1/Nk)∑n=1Nγ(znk)xn $${\mu }_k^{new}=\left(1/N_k\right)\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)x_n$$

∑knew=(1/Nk)∑n=1Nγ(znk)(xn−μnewk)(xn−μnewk)T $$\underset{k}{\overset{new}{\sum }}=\left(1/N_k\right)\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)\left(x_n-{\mu }_k^{new}\right){\left(x_n-{\mu }_k^{new}\right)}^T$$

πnewk=Nk/N $${\pi }_k^{new}=N_k/N$$

其中：

Nk=∑n=1Nγ(znk) $$N_k=\underset{n=1}{\overset{N}{\sum }}\gamma \left(z_{nk}\right)$$

  4.計算後驗概率的對數似然函數

lnp(x|π,μ,∑)=∑n=1Nln{∑k=1KπkN(xk|μk,∑k)} $$lnp\left(x|\pi ,\mu ,\sum \right)=\underset{n=1}{\overset{N}{\sum }}ln\left\{\underset{k=1}{\overset{K}{\sum }}{\pi }_{k}N\left(x_k|{\mu }_k,\underset{k}{\sum }\right)\right\}$$

  5.檢查參數是否收斂或對數似然函數是否收斂，若不收斂，則返回第2步。

HMM（隱馬爾科夫模型）

  隱馬爾科夫模型是關於時序的概率模型，描述由一個隱蔽的馬爾科夫鏈隨機生成不可觀測的狀態隨機序列，再由各個狀態生成一個觀測而產生觀測隨機序列的過程。隱藏的馬爾科夫鏈隨機生成的狀態的序列，稱爲狀態序列（state sequence）；每個狀態生成一個觀測，而由此產生的觀測的隨機序列，稱爲觀測序列（observation sequence）。序列的每一個位置又可以看作是一個時刻。隱馬爾科夫模型是統計模型，它用來描述一個含有隱含未知參數的馬爾科夫過程。其難點是從可觀察的參數中確定該過程的隱含參數。然後利用這些參數來做進一步的分析，例如模型識別。
  隱馬爾科夫模型由初始概率分佈、狀態轉移概率分佈以及觀測概率分佈確定。其形式定義如下：
  設Q是所有可能的狀態集合，V是所有可能的觀測的集合。

Q={q1,q2,...,qN}，V={v1,v2,...,vM} $$Q=\left\{q_1,q_2,...,q_N\right\}，V=\left\{v_1,v_2,...,v_M\right\}$$

其中，N是可能的狀態數，M是可能的觀測數。
  I是長度爲T的狀態序列，O是對應的觀測序列。

I={i1,i2,...,iT}，O={o1,o2,...,oT} $$I=\left\{i_1,i_2,...,i_T\right\}，O=\left\{o_1,o_2,...,o_T\right\}$$

  A是狀態轉移概率矩陣:

A=[aij]N×N $$A={\left[a_{ij}\right]}_{N\times N}$$

其中，

aij=P(it+1=q|it=qi)，i=1,2,...,N；j=1,2,...,N $$a_{ij}=P\left(i_{t+1}=q|i_t=q_i\right)，i=1,2,...,N；j=1,2,...,N$$

  是在時刻t處於狀態 qi $q_i$的條件下在時刻t+1轉移狀態 qj $q_j$的概率。
B是觀測概率矩陣：

B=[bj(k)]N×N $$B={\left[b_j\left(k\right)\right]}_{N\times N}$$

其中，

bj(k)P(ot=vk|it=qj)，k=1,2,...,M；j=1,2,...,N $$b_j\left(k\right)P\left(o_t=v_k|i_t=q_j\right)，k=1,2,...,M；j=1,2,...,N$$

  是在時刻t處於狀態 qj $q_j$的條件下生成觀測 vk $v_k$的概率。
   π $\pi$是初始狀態概率向量：

π=(πi) $$\pi =\left({\pi }_i\right)$$

其中，

πi=P(i1=qi)，i=1,2,...N $${\pi }_i=P\left(i_1=q_i\right)，i=1,2,...N$$

  是時刻t=1處於狀態 qi $q_i$的概率。
  隱馬爾科夫模型由初始概率向量 π $\pi$,狀態轉移矩陣A和觀測概率矩陣B決定。 π $\pi$和A決定狀態序列，B決定觀測序列。因此，隱馬爾科夫模型 λ $\lambda$可以用三元符號表示，即

λ=(A,B,π) $$\lambda =\left(A,B,\pi \right)$$

A,B, λ $\lambda$稱爲隱馬爾科夫模型的三要素。
  從定義可知，隱馬爾科夫模型做了兩個基本假設：
（1）齊次馬爾科夫性假設，即假設隱藏的馬爾科夫鏈在任意時刻t的狀態只依賴於其前一個狀態，與其他時刻的狀態及觀測無關，也與時刻t無關。

P(it|it−1,ot−1,...,i1,o1)=P(i1|it−1) $$P\left(i_t|i_{t-1},o_{t-1},...,i_1,o_1\right)=P\left(i_1|i_{t-1}\right)$$

（2）觀測獨立性假設，即假設任意時刻的觀測只依賴於該時刻的馬爾科夫鏈的狀態，與其他觀測及狀態無關。

P(ot|iT,oT,iT−1,oT−1,...,it+1,ot+1,it,it−1,ot−1,...,i1,o1)=P(i1|it−1) $$P\left(o_t|i_T,o_T,i_{T-1},o_{T-1},...,i_{t+1},o_{t+1},i_t,i_{t-1},o_{t-1},...,i_1,o_1\right)=P\left(i_1|i_{t-1}\right)$$

  下面給出一個隱馬爾科夫的例子。
  假設存在三個不同的骰子。第一個骰子是六面體（這裏成爲D6），每個面（1，2，3，4，4，5，6）出現的概率均爲1/6。第二個骰子是個四面體（D4），每個面（1，2，3，4）出現的概率爲1/4。第三個骰子是八面體（D8），每個面（1，2，3，4，5，6，7，8）出現的概率是1/8。

  假設我們開始投擲骰子，我們先從三個骰子中挑一個挑到任何一個的概率均爲1/3，然後投擲骰子，得到一個數字，1，2，3，4，5，6，7，8中的一個。我們不停的重複上述過程，我們便可以得到一串數字，每個數字都是1，2，3，4，5，6，7，8中的一個。比如我們投擲5次骰子得到五個數字1，6，3，5，2，這串數字叫做可見狀態鏈。但是在隱馬爾科夫模型中，我們不僅僅有這麼一串可見狀態鏈，還有一串隱含狀態鏈。比如這個例子中的隱含狀態鏈就有可能是D6,D8,D8,D6,D4 。
  一般來說，HMM說到的馬爾科夫鏈其實是指隱馬爾科夫鏈，因爲隱含狀態之間存在轉換概率，在我們這個例子中D6的的下一個狀態是D4,D6,D8的概率都是1/3。D4,D8的下一個狀態是D4,D6,D8的概率也是1/3。我們假定是爲了更好的說清楚，但是我們其實可以隨意設定轉換概率的。
同樣的，儘管可見狀態之間沒有轉換概率，但是隱含狀態和可見狀態之間有輸出概率。如圖所示


  如果提前知道所有隱含狀態之間的轉換概率和輸出概率，做模擬是相當容易的。但對於缺失的信息做起來就相當麻煩了，需要一些算法進行處理，這些算法我們在後面講解。

觀測序列的生成過程

  輸入：隱馬爾科夫模型 λ=(A,B,π) $\lambda =\left(A,B,\pi \right)$，觀測序列長度T
  輸出：觀測序列 O=(o1,o2,...,oT) $O=\left(o_1,o_2,...,o_T\right)$。
  （1） 按照初始狀態分佈 π $\pi$產生狀態 i1 $i_1$
  （2） 令t=1
  （3） 按照狀態 it $i_t$的觀測概率分佈 bit(k) $b_{i_t}\left(k\right)$生成 ot $o_t$
  （4）按照狀態 it $i_t$的狀態轉移概率分佈 {ait,it+1} $\left\{a_{i_t,i_{t+1}}\right\}$產生狀態 it+1，it+1=1,2,...N $i_{t+1}，i_{t+1}=1,2,...N$
  （5）令t=t+1；如果t

隱馬爾科夫模型的3個基本問題

  （1）概率計算問題。給定模型 λ=(A,B,π) $\lambda =\left(A,B,\pi \right)$和觀測序列 O=(o1,o2,...,oT) $O=\left(o_1,o_2,...,o_T\right)$，計算在模型 λ $\lambda$下序列O出現的概率 P(O|λ) $P\left(O|\lambda \right)$。
  （2）學習問題。已知觀測序列 O=(o1,o2,...,oT) $O=\left(o_1,o_2,...,o_T\right)$，估計模型 λ=(A,B,π) $\lambda =\left(A,B,\pi \right)$參數，使得在該模型下觀測序列概率 P(O|λ) $P\left(O|\lambda \right)$最大。即使用極大似然估計的方法估計參數。
  （3）預測問題，也稱爲解碼問題。已知模型 λ=(A,B,π) $\lambda =\left(A,B,\pi \right)$和觀測序列 O=(o1,o2,...,oT) $O=\left(o_1,o_2,...,o_T\right)$，求對給定觀測序列條件概率 P(O|I) $P\left(O|I\right)$最大的狀態序列 I=(i1,i2,...,iT) $I=\left(i_1,i_2,...,i_T\right)$。
  接下來我們將逐一介紹這三個基本問題的解法。

概率計算方法

  在介紹前向算法和後向算法前，先介紹概念上可行但計算上不可行的直接計算法。

 直接計算法

  給定模型 λ=(A,B,π) $\lambda =\left(A,B,\pi \right)$和觀測序列 O=(o1,o2,...,oT) $O=\left(o_1,o_2,...,o_T\right)$，計算觀測序列出現的概率 P(O|λ) $P\left(O|\lambda \right)$。最直接的方法就是按照公式直接計算。通過列舉所有可能的的長度爲 T $T$的序列 I=(i1,i2,...,iT) $I=\left(i_1,i_2,...,i_T\right)$，求各個狀態序列 I $I$與觀測序列 O=(o1,o2,...,oT) $O=\left(o_1,o_2,...,o_T\right)$的聯合概率 P(O,I|λ) $P\left(O,I|\lambda \right)$,然後對所有可能的狀態序列求和，得到 P(O|λ) $P\left(O|\lambda \right)$
  狀態序列 I=(i1,i2,...,iT) $I=\left(i_1,i_2,...,i_T\right)$的概率是

P(I|λ)=πi1ai1i2ai3i4...aiT−1iT $$P\left(I|\lambda \right)={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_3{i}_4}...a_{i_{T-1}{i}_T}$$

  對於固定的狀態序列 I=(i1,i2,...,iT) $I=\left(i_1,i_2,...,i_T\right)$，觀測序列 O=(o1,o2,...,oT) $O=\left(o_1,o_2,...,o_T\right)$的概率是 P(O|I,λ) $P\left(O|I,\lambda \right)$，

P(O|I,λ)=bi1(o1)bi2(o2)...biT(oT) $$P\left(O|I,\lambda \right)=b_{i_1}\left(o_1\right)b_{i_2}\left(o_2\right)...b_{i_T}\left(o_T\right)$$

   O $O$和 I $I$同時出現的聯合概率爲

P(O,I|λ)=P(O|I,λ)P(I|λ) $$P\left(O,I|\lambda \right)=P\left(O|I,\lambda \right)P\left(I|\lambda \right)$$

  然後，對所有可能的狀態序列 I $I$求和，得到觀測序列 O $O$的概率，即

P(O,I|λ)=∑IP(O|I,λ)P(I|λ) $$P\left(O,I|\lambda \right)=\underset{I}{\sum }P\left(O|I,\lambda \right)P\left(I|\lambda \right)$$

  但是，利用上式的計算量很大，這種算法不可行。下面介紹計算觀測序列概率 P(O|λ) $P\left(O|\lambda \right)$的有效算法：前向-後向算法。

 前向算法

  前向算法定義了一個前向概率隱馬爾科夫模型的概念。給定 λ $\lambda$，定義到時刻 t $t$部分觀測序列爲 o1,o2,...,ot $o_1,o_2,...,o_t$且狀態爲 qi $q_i$的概率爲前向概率，記作：

αt(i)=P(o1,o2,...,ot,it=qi|λ) $${\alpha }_t\left(i\right)=P\left(o_1,o_2,...,o_t,i_t=q_i|\lambda \right)$$

  有了前向概率，我們就可以遞推的求出前向概率 αt(i) ${\alpha }_t\left(i\right)$及觀測序列概率 P(O|λ) $P\left(O|\lambda \right)$。具體地推過程爲：

αt+1(i)=[∑j=1Nαt(j)aji]bi(ot+1) $${\alpha }_{t+1}\left(i\right)=\left[\underset{j=1}{\overset{N}{\sum }}{\alpha }_t\left(j\right)a_{ji}\right]b_i\left(o_{t+1}\right)$$

  其中 aji $a_{ji}$爲轉移概率，具體爲：

aji=P(it+1=qi|it=qj) $$a_{ji}=P\left(i_{t+1}=q_i|i_t=q_j\right)$$

  而根據前向概率的定義：

at(i)=P(o1,o2,...,ot,it=qt|λ) $$a_t\left(i\right)=P\left(o_1,o_2,...,o_t,i_t=q_t|\lambda \right)$$

  根據上面提到的齊次馬爾科夫假設，有：

aji=P(it+1=qi|it=qj)=P(it+1qi|o1,o2,...,ot,it=qj) $$a_{ji}=P\left(i_{t+1}=q_i|i_t=q_j\right)=P\left(i_{t+1}{q}_i|o_1,o_2,...,o_t,i_t=q_j\right)$$

  因此可以將 αt(j)aji ${\alpha }_t\left(j\right)a_{ji}$合併爲：

P(o1,o2,...,ot,it=qj,it+1=qi|λ) $$P\left(o_1,o_2,...,o_t,i_t=q_j,i_{t+1}=q_i|\lambda \right)$$

  在經過求和符號處理之後，有：

∑j=1Nαt(j)αji=P(o1,o2,...,it+1=qi|λ) $$\underset{j=1}{\overset{N}{\sum }}{\alpha }_t\left(j\right){\alpha }_{ji}=P\left(o_1,o_2,...,i_{t+1}=q_i|\lambda \right)$$

  然後遞推式中 bi(ot+1) $b_i\left(o_{t+1}\right)$的是觀測概率，具體爲：

bi(ot+1)=P(ot+1|it+1=qi)=P(ot+1|o1,o2,...,ot,it+1=qi) $$b_i\left(o_{t+1}\right)=P\left(o_{t+1}|i_{t+1}=q_i\right)=P\left(o_{t+1}|o_1,o_2,...,o_t,i_{t+1}=q_i\right)$$

  後面的連等成立是因爲應用了前面提到的觀測獨立性假設。這樣就有

αt+1(i)=P(o1,o2,...,ot,ot+1,...,it+1=qi|λ) $${\alpha }_{t+1}\left(i\right)=P\left(o_1,o_2,...,o_t,o_{t+1},...,i_{t+1}=q_i|\lambda \right)$$

  最後爲了得到 ，我們只要把馬爾科夫狀態序列的最後一個狀態的所有前向概率進行求和就可以了，具體爲：

P(O|λ)=∑i=1NαT(i)=P(o1,o2,...,ot,ot+1,...,oT|λ) $$P\left(O|\lambda \right)=\underset{i=1}{\overset{N}{\sum }}{\alpha }_T\left(i\right)=P\left(o_1,o_2,...,o_t,o_{t+1},...,o_T|\lambda \right)$$

 後向算法

  後向算法與前向算法類似，他定義了一個概念叫後向概率：給定隱馬爾科夫模型 λ $\lambda$，定義在時刻 t $t$狀態爲 qi $q_i$的條件下，從 t+1 $t+1$到 T $T$的部分觀測序列爲 ot+1,ot+2,...oT $o_{t+1},o_{t+2},...o_T$的概率爲後向概率，記作

βt(i)=P(ot+1,ot+2,...oT|it=qi,λ) $${\beta }_t\left(i\right)=P\left(o_{t+1},o_{t+2},...o_T|i_t=q_i,\lambda \right)$$

  同樣也可以用遞推的方法求得後向概率及觀測概率。由於和前向算法類似這裏推導過程忽略，介紹下後向算法的步驟：
  輸入：隱馬爾科夫模型 λ $\lambda$，觀測序列 O $O$；
  輸出：觀測序列概率 P(O|λ) $P\left(O|\lambda \right)$

   1.

βT(i)=1,i=1,2,...,N $${\beta }_T\left(i\right)=1,i=1,2,...,N$$

  2. 對 t=T−1,T−2,...,1 $t=T-1,T-2,...,1$

βT(i)=∑j=1Naijbj(ot+1)βt+1(j) $${\beta }_T\left(i\right)=\underset{j=1}{\overset{N}{\sum }}{a}_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}\left(j\right)$$

   3.

P(O|λ)=∑i=1Nπibi(o1)β1(i) $$P\left(O|\lambda \right)=\underset{i=1}{\overset{N}{\sum }}{\pi }_i{b}_i\left(o_1\right){\beta }_1\left(i\right)$$

  步驟1初始化後向概率，對最終時刻的所有狀態 qi $q_i$規定 βT(i)=1 ${\beta }_T\left(i\right)=1$。步驟2是後向概率的遞推公式。步驟3求 P(O|λ) $P\left(O|\lambda \right)$的思路與步驟2一致，只是初始概率代替轉移概率。
  利用前向概率和後向概率的定義可以將觀測序列概率 P(O|λ) $P\left(O|\lambda \right)$統一寫成

P(O|λ)=∑i=1N∑j=1Nαt(i)aijbj(ot+1)βt+1(j) $$P\left(O|\lambda \right)=\underset{i=1}{\overset{N}{\sum }}\underset{j=1}{\overset{N}{\sum }}{\alpha }_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}\left(j\right)$$

  此時當 t=1 $t=1$和 t=T−1 $t=T-1$時分別爲式子

P(O|λ)=∑i=1NαT=P(o1,o2,...,ot,ot+1,...,oT|λ) $$P\left(O|\lambda \right)=\underset{i=1}{\overset{N}{\sum }}{\alpha }_T=P\left(o_1,o_2,...,o_t,o_{t+1},...,o_T|\lambda \right)$$

和

P(O|λ)=∑i=1Nπibi(o1)β1(i) $$P\left(O|\lambda \right)=\underset{i=1}{\overset{N}{\sum }}{\pi }_i{b}_i\left(o_1\right){\beta }_1\left(i\right)$$

學習算法

  隱馬爾科夫模型的學習，根據訓練數據是包括觀測序列和對應的狀態序列還是隻有觀測序列，可以分別由監督學習與非監督學習實現。接下來會先介紹監督學習算法，而後介紹非監督學習算法—— Baum−Welch $Baum-Welch$算法

 監督學習算法

  假設已給訓練數據包含 S $S$個長度相同的觀測序列和對應的狀態序列 {(O1,I1),(O2,I2),...,(OS,IS)} $\left\{\left(O_1,I_1\right),\left(O_2,I_2\right),...,\left(O_S,I_S\right)\right\}$,那麼可以利用極大似然法來估計隱馬爾科夫模型的參數。具體方法如下：
   1. 轉移概率 aij $a_{ij}$的估計
設樣本中時刻 t $t$處於狀態i時刻 t+1 $t+1$轉移狀態 j $j$的頻數爲 Aij $A_{ij}$，那麼狀態轉移 aij $a_{ij}$的估計是

a^ij=Aij∑Nj=1Aij,i=1,2,...,N;j=1,2,...,N $${\hat{a}}_{ij}=\frac{A_{ij}}{\underset{j=1}{\overset{N}{\sum }}{A}_{ij}},i=1,2,...,N;j=1,2,...,N$$

   2. 觀測概率 bj(k) $b_j\left(k\right)$的估計
設樣本狀態爲 j $j$並觀測爲 k $k$的頻數是 Bjk $B_{jk}$，那麼狀態爲 j $j$觀測爲 k $k$的概率 bj(k) $b_j\left(k\right)$的估計爲

b^j(k)=Bjk∑Mk=1Bjk,j=1,2,...,N;k=1,2,...,M $${\hat{b}}_j\left(k\right)=\frac{B_{jk}}{\underset{k=1}{\overset{M}{\sum }}{B}_{jk}},j=1,2,...,N;k=1,2,...,M$$

  3.初始狀態概率 πi ${\pi }_i$的估計 π^i ${\hat{\pi }}_i$爲 S $S$個樣本中初始狀態爲 qi $q_i$的頻率由於監督學習需要使用訓練數據，而人工標註訓練數據往往代價更高，有時就會利用非監督學習的方法。

  Baum−Welch $Baum-Welch$算法

  學習問題即參數估計的問題的解決需要 Baum−Welch $Baum-Welch$算法，下面介紹 Baum−Welch $Baum-Welch$算法。
  已知觀測序列 O $O$，估計模型參數 λ $\lambda$，使得在該模型下觀測序列概率 P(O|λ) $P\left(O|\lambda \right)$最大，由於狀態序列未知，因此這可以看作是一個含有隱變量的參數估計問題，這一問題的解決依靠 EM $EM$算法，而 Baum−Welch $Baum-Welch$算法就是 EM $EM$算法在隱馬爾科夫模型學習中的具體體現。
根據EM算法，我們需要先求出其Q函數，如下：

Q(λ,λ¯)=∑IlogP(O,I|λ)P(I|O,λ¯) $$Q\left(\lambda ,\bar{\lambda }\right)=\underset{I}{\sum }logP\left(O,I|\lambda \right)P\left(I|O,\bar{\lambda }\right)$$

  我們寫出Q函數之後後面就要對它進行極大化，也就是說EM算法的M步驟。既然是最大化，那麼只要保證不影響最終的結果，對Q函數進行最大化來說沒有影響的常數因子乘除是可以的。我們注意到Q函數的後半部分爲

P(I|O,λ¯)=P(O,I|λ¯)P(O|λ¯) $$P\left(I|O,\bar{\lambda }\right)=\frac{P\left(O,I|\bar{\lambda }\right)}{P\left(O|\bar{\lambda }\right)}$$

而 P(O|λ) $P\left(O|\lambda \right)$便是概率計算問題中我們解決的問題，對於固定的模型參數來說它是一個常量，因此我們爲了後邊計算方便可以在上面原先的 Q $Q$函數的基礎上乘以它，使得 Q $Q$函數稱爲：

Q(λ,λ¯)=∑IlogP(O,I|λ)P(O,I|λ¯) $$Q\left(\lambda ,\bar{\lambda }\right)=\underset{I}{\sum }logP\left(O,I|\lambda \right)P\left(O,I|\bar{\lambda }\right)$$

  爲什麼要這麼做呢？這是爲了後面將概率計算問題中有意義的一些概率計算公式直接套進去。又因爲完全數據可以寫成這樣：

logP(O,I|λ)=πi1bi1(o1)ai1ai2b(o2)...aiT−1iTbiT(oT) $$logP\left(O,I|\lambda \right)={\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i_1}{a}_{i_2}b\left(o_2\right)...a_{i_{T-1}{i}_T}{b}_{i_T}\left(o_T\right)$$

  於是Q函數可以寫成

Q(λ,λ¯)=∑i=1NlogπiP(O,i1=i|λ¯)+∑i=1N∑j=1N∑t=1T−1logaijP(O,it=i,it+1=j|λ¯)+∑j=1N∑t=1Tlogbj(ot)P(O,it=j|λ¯) $$Q\left(\lambda ,\bar{\lambda }\right)=\underset{i=1}{\overset{N}{\sum }}log{\pi }_{i}P\left(O,i_1=i|\bar{\lambda }\right)+\underset{i=1}{\overset{N}{\sum }}\underset{j=1}{\overset{N}{\sum }}\underset{t=1}{\overset{T-1}{\sum }}log{a}_{ij}P\left(O,i_t=i,i_{t+1}=j|\bar{\lambda }\right)+\underset{j=1}{\overset{N}{\sum }}\underset{t=1}{\overset{T}{\sum }}log{b}_j\left(o_t\right)P\left(O,i_t=j|\bar{\lambda }\right)$$

  可以看到，我們將三項中分別的對 I $I$的求和進行了劃分。由於隱變量 I=(i1,i2,...,iT) $I=\left(i_1,i_2,...,i_T\right)$。原來的求和需要遍歷所有的I的取值，然後進行求和，然而這基本上是不可能完成的任務。改寫後，我們將遍歷的空間進行了劃分，同時很好的將 P(O,I|λ¯) $P\left(O,I|\bar{\lambda }\right)$部分改寫後也融入到求和之中。比如第一項，對 I $I$的遍歷等價於先固定狀態 i1 $i_1$，使其分別取值所有可能的狀態，而 i2,i3,...,iT $i_2,i_3,...,i_T$仍然像原來一樣隨便取值。這樣，就把