條件隨機場入門（一） 機率無向圖模型

引言

條件隨機場（conditional random field，如下簡稱CRF） 是給定一組輸入隨機變量條件下另外一組輸出隨機變量的條件機率分佈模型，其特色是假設輸出隨機變量構成馬爾可夫隨機場（HMM 是狀態序列的 Markov Chain）。CRF 能夠用於不一樣的預測問題，在 Machine Learning 領域裏 CRF 通常用做處理標註問題。經常使用的就是線性鏈（linear-chain) 條件隨機場了，這時，問題變成了由輸入序列對輸出序列預測的判別模型，形式爲對數線性模型，其學習方法一般是極大似然估計或正則化的極大似然估計。線性鏈條件隨機場應用於標註問題是由 Lafferty 等人於2001年提出的。

機率無向圖模型

機率無向圖模型又稱爲馬爾可夫隨機場（Markov random field)，是一個能夠由無向圖表示的聯合機率分佈。本節首先敘述機率無向圖模型的定義，而後介紹機率無向圖模型的因子分解。

模型定義

圖是由結點及鏈接結點的邊組成的集合。結點和邊分別記做 v 和 e ，結點和邊的集合分別記做 V 和 E ，圖記做 G=(V,E) ，無向圖是指邊沒有方向的圖。機率圖模型（PGM） 是由圖表示的機率分佈。設有聯合機率分佈 $P(Y)$ ，$Y \in \mathcal{Y}$ 是一組隨機變量。由無向圖 G 表示機率分佈，即在圖 G 中，結點 $v \in V$ 表示一個隨機變量 $Y_v$， $Y = Y_v|_{v \in V}$；邊 $e \in E$ 表示隨機變量之間的機率依賴關係。

給定一個聯合機率分佈 $P(Y)$ 和表示它的無向圖 G。首先定義無向圖表示的隨機變量之間存在的成對馬爾可夫性局、部馬爾可夫性和全局馬爾可夫性。分別介紹一下三個概念：

成對馬爾可夫性：設 u 和 v 是無向圖G中任意兩個沒有邊鏈接的結點，結點u和v分別對應隨機變量 $Y_u$ 和 $Y_v$。其餘全部結點爲 O（集合），對應的隨機變量組是 $Y_O$。成對馬爾可夫性是指給定隨機變量組 $Y_O$ 的條件下隨機變量 $Y_u$ 和 $Y_v$ 是條件獨立的，其實意思就是說沒有直連邊的任意兩個節點是獨立的，即

\[P(Y_u,Y_v |Y_O) = P(Y_u|Y_O)P(Y_v|Y_O)\]

局部馬爾可夫性：設 v \in V 是無向圖 G 中任意一個結點，W 是與 v 有邊鏈接的全部結點，O 是 v,W 之外的其餘全部結點。v 表示的隨機變量是 $Y_v$ ,W 表示的隨機變量組是 Y_w，O 表示的隨機變量組是 Y_O。局部馬爾可夫性是指在給定隨機變量組 Y_W 的條件下隨機變量 v 與隨機變量組  Y_O 是獨立的，即

\[P(Y_v,Y_O |Y_W) = P(Y_v|Y_W)P(Y_O|Y_W)\]

在 $P(Y_O|Y_W) >0$ 時，等價地，

\[p(Y_v |Y_W) = P(Y_v|Y_W,Y_O)\]

下圖表示了局部馬爾可夫性。

全局馬爾可夫性：設結點集合 A,B 是在無向圖 G 中被結點集合 C 分開的任意結點集合，如圖所示。結點集合 A,B 和 C 所對應的隨機變量組分別是 $Y_A,Y_B$ 和 $Y_C$。全局馬爾可夫性是指給定隨機變量組條件下隨機變量組 $Y_A$ 和 $Y_B$ 是條件獨立的，即

\[P(Y_A,Y_B|Y_C) = P(Y_A|Y_C)P(Y_B|Y_C)\]

機率無向圖模型: 設有聯合機率分佈 P(Y) ，由無向圖 G=(V,E) 表示，在圖 G 中，結點表示隨機變量，邊表示隨機變量之間的依賴關係。若是聯合機率分佈 P(Y) 知足成對、局部或全局馬爾可夫性，就稱此聯合機率分佈爲機率無向圖模型或馬爾可夫隨機場。

以上是機率無向圖模型的定義，實際上，咱們更關心的是如何求其聯合機率分佈。對給定的機率無向圖模型，咱們但願將總體的聯合機率寫成若干子聯合機率的乘積的形式，也就是將聯合機率進行因子分解，這樣便於模型的學習與計算。事實上，機率無向圖模型的最大特色就是易於因子分解。下面介紹這一結果。

機率無向圖模型的因子分解

首先給出無向圖中的團與最大團的定義，無向圖 G 中任何兩個結點均有邊鏈接的結點子集稱爲團（clique)。若 C 是無向圖 G 的一個團，而且不能再加進任何一個 G 的結點使其成爲一個更大的團，則稱此 C 爲最大團（maximal clique)。

下圖 (a) 表示由4個結點組成的無向圖。圖中由2個結點組成的團有5個: {$Y_1,Y_2$}，{$Y_2,Y_3$}，{$Y_3,Y_4$} 和 {$Y_4,Y_2$}，{$Y_1,Y_3$} 。有2個最大團：{$Y_1,Y_2,Y_3$} 和 {$Y_2,Y_3,Y_4$}。而 {$Y_1,Y_2,Y_3,Y_4$} 不是一個團，由於 $Y_1$ 和 $Y_4$ 沒有邊鏈接。

將機率無向圖模型的聯合機率分佈表示爲其最大團上的隨機變量的函數的乘積形式的操做，稱爲機率無向圖模型的因子分解，譬如在解高次方程的時候，咱們很是但願方程可以分解爲多個低次方程的乘積。那麼，對於機率分佈函數而言，咱們也但願可以這樣作，即給定機率無向圖模型，設無向圖爲 G ， C 爲 G 上的最大團， $Y_C$  表示 C 對應的隨機變量。那麼機率無向圖模型的聯合機率分佈 $P(Y)$ 可分解爲圖中全部最大團 C 上的函數 $\Psi_C(Y_C)$ 的乘積形式，分解後的因子圖如 (b) 所示，每一個黑色的正方形便表明一個函數，圖中將無向圖拆分爲兩個最大團上勢函數的乘積，具體的拆分公式爲：

\[P(Y) = \frac{1}{Z} \prod_C \Psi_C(Y_C)\]

其中，Z 是規範化因子（normalization factor)，形式以下：

\[Z = \sum_Y\prod_C \Psi_C(Y_C)\]

規範化因子保證 $P(Y)$ 構成一個機率分佈。$\Psi_C(Y_C) \rightarrow \mathbb{R}$  稱爲勢函數 (potential function)。這裏要求勢函數 $\Psi_C(Y_C)$ 是嚴格正的，一般定義爲指數函數：

\[\Psi_C(Y_C) = \exp \left \{-E(Y_C) \right \}\]

總結一下,便獲得 Hammersley-Clifford定理 ，機率無向圖模型的聯合機率分佈能夠表示爲以下形式：

\begin{aligned}
P(Y) &= \frac{1}{Z} \prod_C \Psi_C(Y_C) \\
Z &= \sum_Y\prod_C \Psi_C(Y_C)
\end{aligned}

其中，C 是無向圖的最大團， $Y_C$ 是 C 的結點對應的隨機變量， $\Psi_C(Y_C)$  是 C 上定義的嚴格正函數，乘積是在無向圖全部的最大團上進行的。

http://blog.csdn.net/zdy0_2004/article/details/44248083

http://dataunion.org/16448.html