隱馬爾可夫（HMM）模型

隱馬爾可夫（HMM）模型

　　隱馬爾可夫模型，是一種機率圖模型，一種著名的有向圖模型，一種判別式模型。主要用於時許數據建模，在語音識別、天然語言處理等領域普遍應用。

　　機率圖模型分爲兩類，一類：使用有向無環圖表示變量間的依賴關係，稱爲有向圖模型或者貝葉斯網；第二類：使用無向圖表示變量間的依賴關係，稱爲無向圖模型或者馬爾可夫網。

　　判別式模型：考慮條件分佈P(Y, R | O)，生成式模型：考慮聯合分佈P(Y, R, O)

HMM三個假設

• 當前觀測值只由當前隱藏狀態決定
• 當前隱藏狀態由前一個隱藏狀態決定
• 隱藏狀態之間轉移機率不隨時間改變

隨機過程當中某一時刻的狀態s_t的機率分佈爲：

p(s_t|s_t-1,s_t-2,...,s₀)=p(s_t|s_t-1)

即：t 時刻的狀態僅依賴於 t-1 時刻的狀態，與其他狀態無關，這就是所謂的「馬爾可夫鏈」

在馬爾可夫鏈中，每一圓圈表明相應時刻的狀態，有向邊表明可能的狀態轉移，權重表示狀態轉移的機率

HMM模型結構圖

HMM模型五元組

HMM模型能夠用五元組(O, S, A, B, π)表示。其中

• O: {o₀, o₁, ..., o_n} 表示觀測系列，是系統的外在可觀測變量。
• S: {s₀, s₁, ..., s_n} 表示隱狀態序列，是致使系統外在表現變化的內因。
• A: {a_ij = p(s_j | s_i)} 表示狀態轉移機率。
• B: {b_ij = p(o_j | s_i)} 表示輸出機率，又稱發射機率
• π: {π₀, π₁, ..., π_m} 表示初始狀態機率。

HMM三類問題

根據以上HMM模型五元組表示，咱們能夠概括出HMM模型解決的三類主要問題。

1、評估問題

已知：狀態轉移矩陣 A， 初始狀態機率 π，輸出矩陣 B，觀測序列

求：求該觀測序列的可能性

解決算法：向前（forward）算法或者向後（backward）算法

2、解碼問題

已知：狀態轉移矩陣A，初始狀態機率 π，輸出矩陣B，觀測序列

求：最有可能產生該觀測序列的隱藏狀態序列

解決算法：維特比（Viterbi）算法，一種動態規劃算法

3、學習問題

已知：不少觀測序列

求：估計HMM模型參數的可能取值 

解決算法：鮑姆韋爾奇（Baum-Welch）算法