數學之美札記：隱含馬爾可夫模型

    隱含馬爾可夫模型是一個數學模型，它被認爲是解決大多數天然語言處理問題最爲快速、有效的方法。它成功的解決了複雜的語音識別、機器翻譯等問題。

    人類信息交流的發展貫穿了人類的進化和文明的全過程。而天然語言是人類交流信息的工具，語言和通訊的聯繫是自然的。通訊的本質就是一個編解碼和傳輸的過程。當天然語言處理的問題迴歸到通訊系統中的解碼問題時，不少問題都迎刃而解了。

    所謂語音識別，就是聽話的人去猜想說話者要表達的意思。這就像通訊中，根據接收端收到的信號去分析、理解、還原發送端傳送過來的信息。咱們平時在說話時，腦子就是一個信息源，聲帶、空氣，就像電線和光纜般的信道。聽衆的耳朵就是接收器，而聽到的聲音就是傳送過來的信號。根據聲學信號來推測說話者的意思，就是語音識別。幾乎全部的天然語言處理問題均可以等價成通訊的解碼問題。

    隱含馬爾可夫模型並非19世紀俄羅斯數學家馬爾可夫發明的，而是美國數學家鮑姆等人在20世紀六七十年代發表的一系列論文中提出的，隱含馬爾可夫模型的訓練方法（鮑姆-韋爾奇算法）也是以他的名字命名的。

    要介紹隱含馬爾可夫模型，還要從馬爾可夫鏈提及。到了19世紀，機率論的發展從對（相對靜態的）隨機變量的研究發展到對隨機變量的時間序列，即隨機過程（動態的）的研究。這在哲學的意義上，是人類認識的一個飛躍。可是，隨機過程要比隨機變量複雜得多。由於隨機過程可能有多個緯度的不肯定性。

    馬爾可夫爲了簡化問題，提出了一種簡化的假設，即隨機過程當中各個狀態的機率分佈，只與它的前一個狀態有關。好比，對於天氣預報，硬性假定今天的氣溫只與昨天有關而和前天無關。固然這種假設未必適合全部的應用，可是至少對之前不少很差解決的問題給出了近似解。這個假設後來被命名爲馬爾可夫假設，而符合這個假設的隨機過程則稱爲馬爾可夫過程，也稱爲馬爾可夫鏈。

    隱含馬爾可夫模型是馬爾可夫鏈的一個擴展：任一時刻t的狀態是不可見的。因此觀察者無法經過觀察到一個狀態序列s來推測轉移機率等參數。可是，隱含馬爾可夫模型在每一個時刻t會輸出一個符號o，並且o和s有關且僅和s有關。這個被稱爲獨立輸出假設。鮑姆把這種模型稱爲「隱含」馬爾可夫模型。

    

    隱含馬爾可夫模型成功的應用最先是語音識別。20世紀70年代，卡內基-梅隆大學畢業的貝克夫婦，提出用隱含馬爾可夫模型來識別語音，語音識別的錯誤率相比人工智能和模式匹配等方法下降三分之二。20世紀80年代末，李開復博士堅持採用隱含馬爾可夫模型的框架，成功開發了世界上第一個大詞彙量連續語音識別系統Sphinx。接下來，隱含馬爾可夫模型陸續成功地應用於機器翻譯、拼寫糾錯、手寫體識別、圖像處理、基因序列分析等不少IT領域，近20年來，它還普遍應用於股票預測和投資。