HMM基本原理及其實現（隱馬爾科夫模型）

HMM（隱馬爾科夫模型）基本原理及其實現

---

HMM基本原理

Markov鏈：若是一個過程的「未來」僅依賴「如今」而不依賴「過去」，則此過程具備馬爾可夫性，或稱此過程爲馬爾可夫過程。馬爾可夫鏈是時間和狀態參數都離散的馬爾可夫過程。HMM是在Markov鏈的基礎上發展起來的，因爲實際問題比Markov鏈模型所描述的更爲複雜，觀察到的時間並非與狀態一一對應的，而是經過一組機率分佈相聯繫，這樣的模型稱爲HMM。HMM是雙重隨機過程：其中之一是Markov鏈，這是基本隨機過程，它描述狀態的轉移，是隱含的。另外一個隨機過程描述狀態和觀察值之間的統計對應關係，是可被觀測的。

 

HMM的定義：

HMM其實是分爲兩個部分的，一是馬爾可夫鏈，由參數，A描述，它利用一組與機率分佈相聯繫的狀態轉移的統計對應關係，來描述每一個短時平穩段是如何轉變到下一個短時平穩段的，這個過程產生的輸出爲狀態序列；二是一個隨機過程，描述狀態與觀察值之間的統計關係，用觀察到的序列來描述隱含的狀態，由B描述，其產生的輸出爲觀察值序列。

HMM根據其結構的不一樣能夠分爲多種類型。根據狀態轉移機率矩陣的不一樣，HMM可分爲各態遍歷模型、從左到右模型、並行路徑從左到右模型和無跳轉從左到右模型等。根據觀察值機率不一樣，HMM可分爲離散HMM、半連續HMM、連續HMM等。

下圖是一個典型的HMM：

HMM有三個典型的問題:

• 已知模型參數，計算某一特定輸出序列的機率，一般使用forward算法解決。
• 已知模型參數，尋找最可能的能產生某一特定輸出序列的隱含狀態的序列，一般使用Viterbi算法解決。
• 已知輸出序列，尋找最可能的狀態轉移以及輸出機率，一般使用Baum-Welch算法以及Reversed Viterbi算法解決。

---

 

HMM的實現

 

C語言版：

　　一、 HTK（Hidden Markov Model Toolkit）

　　HTK是英國劍橋大學開發的一套基於C語言的隱馬爾科夫模型工具箱，主要應用於語音識別、語音合成的研究，也被用在其餘領域，如字符識別和DNA排序等。HTK是重量級的HMM版本。

　　HTK主頁：http://htk.eng.cam.ac.uk/

　　二、 GHMM Library

　　The General Hidden Markov Model library (GHMM) is a freely available LGPL-ed C library implementing efficient data structures and algorithms for basic and extended HMMs.

　　GHMM主頁：http://www.ghmm.org/

　　三、 UMDHMM（Hidden Markov Model Toolkit）

　　Hidden Markov Model (HMM) Software: Implementation of Forward-Backward, Viterbi, and Baum-Welch algorithms.

　　這款屬於輕量級的C語言HMM版本。

　　UMDHMM主頁：http://www.kanungo.com/software/software.html

C++版：

　　一、http://www.cs.ualberta.ca/~lindek/hmm.htm

　　二、http://www.shokhirev.com/nikolai/abc/alg/hmm/hmm.html

　　以上兩個是C++版本的，可是實現的是離散型的HMM。

Java版：

　　Jahmm Java Library (general-purpose Java library)：

　　Jahmm (pronounced 「jam」), is a Java implementation of Hidden Markov Model (HMM) related algorithms. It’s been designed to be easy to use (e.g. simple things are simple to program) and general purpose.

　　Jahmm主頁：http://code.google.com/p/jahmm/

Python版：

　　http://www.biocomp.unibo.it/piero/PHMM/

Malab版：

　　Hidden Markov Model (HMM) Toolbox for Matlab：This toolbox supports inference and learning for HMMs with discrete outputs (dhmm’s), 

Gaussian outputs (ghmm’s), or mixtures of Gaussians output (mhmm’s).

　　Matlab-HMM主頁：http://www.cs.ubc.ca/~murphyk/Software/HMM/hmm.html

Common Lisp版：

　　CL-HMM Library (HMM Library for Common Lisp)：

　　Simple Hidden Markov Model library for ANSI Common Lisp. Main structures and basic algorithms implemented. Performance speed comparable to C code. It’s licensed under LGPL.

　　CL-HMM主頁：http://www.ashrentum.net/jmcejuela/programs/cl-hmm/

Haskell版：

　　The hmm package （A Haskell library for working with Hidden Markov Models）：A simple library for working with Hidden Markov Models. Should be usable even by people who are not familiar with HMMs. Includes implementations of Viterbi’s algorithm and the forward algorithm.

　　Haskell-HMM主頁：http://hackage.haskell.org/cgi-bin/hackage-scripts/package/hmm

CDHMM C++版：

　　連續HMM的C++實現：CHMM.rar