【算法】CRF(條件隨機場)

CRF(條件隨機場)

基本概念

1. 場是什麼
   場就是一個聯合機率分佈。好比有3個變量，y1,y2,y3, 取值範圍是{0,1}。聯合機率分佈就是{P(y2=0|y1=0,y3=0), P(y3=0|y1=0,y2=0), P(y2=0|y1=1,y3=0), P(y3=0|y1=1,y2=0), ...}
   下圖就是一個場的簡單示意圖。
   

也就是變量間取值的機率分佈。

1. 馬爾科夫隨機場
   若是場中的變量只受相鄰變量的影響，而與其餘變量無關。則這樣的場叫作馬爾科夫隨機場。
   以下圖，綠色點變量的取值只受周圍相鄰的紅色點變量影響，與其餘變量無關。
   

2. 條件隨機場
   有隨機變量X(x1,x2,...), Y(y1,y2,...), 在給定X的條件下Y的機率分佈是P(Y|X)。若是該分佈知足馬爾科夫性，即只和相鄰變量有關，則稱爲條件隨機場。
   以下圖，與馬爾科夫隨機場的區別是多了條件X。
   

3. 線性鏈條件隨機場
   隨機變量Y成線性，即每一個變量只和先後變量相關。
   當條件X與變量Y的形式相同時，就是以下圖所示的線性鏈條件隨機場。該形式也是最常使用的，普遍用於詞性標註，命名實體識別等問題。
   

對於詞性標註來講，x就是輸入語句的每個字，y就是輸出的每一個字的詞性。

線性鏈條件隨機場的表示

設\(P(Y|X)\)是線性鏈條件隨機場，則在給定\(X\)的取值\(x\)的狀況下，隨機變量\(Y\)取值爲\(y\)的條件機率能夠表達爲：
\[P(y|x)=\frac{1}{Z(x)}exp\left(\sum_{i,k}{\lambda_kt_k(y_{i-1}, y_i,x,i)}+\sum_{i,l}\mu_ls_l(y_i,x,i)\right)\]
\[Z(x)=\sum_yexp\left(\sum_{i,k}{\lambda_kt_k(y_{i-1}, y_i,x,i)}+\sum_{i,l}\mu_ls_l(y_i,x,i)\right)\]
\(i\): 表示當前位置下標
\(t_k()\)：表示相鄰兩個輸出間的關係，是轉移特徵函數。取值{0，1}，即知足特徵和不知足特徵
\(s_l()\): 表示當前位置的特徵，是狀態特徵函數。取值{0，1}。
\(k\): 表示轉移特徵\(t\)的個數
\(l\): 表示狀態特徵\(s\)的個數
非規範化機率：\(P(Y|X)\)的分子部分
從定義角度來分析這個公式： 因爲是條件隨機場，即受條件影響，因此每個\(t_k\)和\(s_k\)都有\(x\)的影響。同時，因爲知足馬爾科夫性，\(t_k\)只受\(y_i\)和\(y_{i-1}\)影響，即只受相鄰變量影響。
從實際含義角度分析這個公式： 對於\(s_l\)，好比輸入漢字\(x\)爲"門"，對應位置\(y_i\)標註是名詞n,則知足條件，取1。每個\(s_l\)就是輸入對輸出詞性的影響。對於\(t_k\),好比\(y_{i-1}\)是動詞v，\(y_i\)是名詞n則認爲知足標記，取值1。也就是\(t_k\)代表了相鄰輸出間的約束關係。

條件隨機場的化簡形式和矩陣形式

爲何須要知道條件隨機場的化簡形式和矩陣形式？無他，僅僅是由於後面求解問題時用到了相關的數學表達而已。看公式的感受很痛苦，一堆符號也不知道是什麼，很煩。你們可能都有這樣的感覺。可是想真正理解條件隨機場，這一步跳不過去啊。

條件隨機場的化簡形式

設有\(K_1\)個轉移特徵，\(K_2\)個狀態特徵，記
\[ f_k(y_{i-1},y_i,x,i)=\left\{ \begin{array}{lcl} t_k(y_{i-1},y_i,x,i), & k=1,2,...K_1\\ s_l(y_i,x,i), & k=K_1+l; l=1,2,...K_2 \\ \end{array} \right. \]
對全部位置\(i\)求和，記做
\[f_k(y,x)=\sum_{i=1}^{n}f_k(y_{i-1},y_i,x,i),\quad k=1,2,...,K\]
用\(\omega_k\)表示特徵\(f_k(y,x)\)的權值，即
\[ \omega_k=\left\{ \begin{array}{lcl} \lambda_k, & {k=1,2,...,K_1} \\ \mu_l, & {k=K_1+l; l=1,2,...,K_2} \end{array} \right. \]
那麼，條件隨機場就能夠用以下公式表示：
\[P(y|x)=\frac{1}{Z(x)}exp\sum_{k=1}^{K}\omega_kf_k(y,x)\]
\[Z(x)=\sum_{y}exp\sum_{k=1}^{K}\omega_kf_k(y,x)\]
用\(\omega\)表示權值向量，即
\[\omega=(\omega_1,\omega_2,...\omega_k)^{T}\]
用\(F(y,x)\)表示全局特徵向量，即
\[F(y,x)=(f_1(y,x),f_2(y,x),...,f_K(y,x))^{T}\]
則
\[P_\omega(y|x)=\frac{exp(\omega\cdot F(y,x))}{Z_\omega(x)}\]
\[Z_\omega(x)=\sum_{y}exp(\omega\cdot F(y,x))\]

條件隨機場的矩陣形式

設\(y\)一共有\(m\)種取值，則定義一個\(m\times m\)的矩陣
\[M_i(x)=[M_i(y_{i-1},y_i|x)]\]
\[M_i(y_{i-1},y_i|x)=exp\left(W_i(y_{i-1},y_i|x)\right)\]
\[W_i(y_{i-1},y_i|x)=\sum_{k=1}^{K}\omega_kf_k(y_{i-1},y_i,x,i)\]
\(M_i(y_{i-1},y_i|x)\)中的\(y\)取值是固定的，\(M_i(x)\)則是合併了全部可能的\(y\)取值，在矩陣表示下條件機率能夠表達爲\(P_\omega(y|x)\)
\[P_\omega(y|x)=\frac{1}{Z_\omega(x)}\prod_{i=1}^{n+1}M_i(y_{i-1},y{i}|x)\]
\[Z_\omega(x)=(M_1(x)M_2(x)...M_{n+1}(x))_{start,stop}\]

CRF涉及的三個問題

1. 條件隨機場的機率計算問題
2. 條件隨機場的學習算法
3. 條件隨機場的預測算法

條件隨機場的機率計算問題

該問題是指，在已知條件隨機場分佈狀況下，得出每一個位置輸出結果的可能性。
好比有一個長度爲3的輸入序列{1,2,3},每個輸出的取值範圍是{0,1}。機率計算問題就是求出P(y1=0|X={1,2,3}),P(y1=1|X={1,2,3}),...。也就是求每一個位置y取各個值得機率。
最開始我看這個問題的時候一直有一個困惑，什麼叫作給定條件隨機場。後來明白，給定條件隨機場是指給定全部的約束條件，即給定全部的\(t_k\)和\(s_l\)函數以及相關權重。
這個機率計算問題在實際算法求解中並不常使用。但做爲三個基本問題仍是介紹一下處理的思路。
基本的處理思路是動態規劃，藉助了前向和後向向量。
前向向量：\(\alpha_i(y|x)\)表示，即無論從位置0到位置\(i-1\)部分\(y\)的取值，位置\(i\)取值爲\(y\)的非規範化機率。
後向向量：\(\beta_i(y|x)\)表示，即無論從位置\(i+1\)到位置\(n\)部分\(y\)的取值，位置\(i\)取值爲\(y\)的非規範化機率。
這樣經過前向和後向向量就能夠得出相關的機率計算問題解：
\[P(Y_i=y_i|x)=\frac{\alpha_{i}^{T}(y_i|x)\beta_{i}^{T}(y_i|x)}{Z(x)}\]
\[P(Y_{i-1}=y_{i-1},Y_i=y_i|x)=\frac{\alpha_{i-1}^{T}(y_{i-1}|x)M_i(y_{i-1},y_i|x)\beta_{i}^{T}(y_i|x)}{Z(x)}\]
上面公式的詳細推導能夠參看李航的《統計學習方法》，這裏只給出結果。很容易理解，由於前向向量隱藏了當前位置以前的取值細節，然後向向量隱藏了當前位置以後的取值細節，因此只須要關注當前位置取值就能夠了。

條件隨機場的學習算法

假設已經有一批輸入和輸出數據，已知全部可能的\(t_k\)和\(s_l\)函數，目標是求解合適的權重\(\omega_k\),使得訓練樣本出現的可能性最大。記住，目標是求權重\(\omega\)。爲了實現這個目標，須要先定義目標函數，能夠採用極大似然估計，用對數極大似然函數做爲目標函數。
設輸入樣本爲\((x=(1,2),y=(1,2)),(x=(1,3),y=(1,1)),(x=(2,3),y=(2,1))\)
設經驗機率分佈爲\(\tilde{P}(X,Y)\)，含義就是在輸入樣本中\(X,Y\)出現的頻率，對於上面例子，\(\tilde{P}(X=(1,2),Y=(1,2))=\frac{1}{3}\)
那麼對應的極大似然函數爲：
\[\prod_{x,y}P_\omega(y|x)^{\tilde{P}(x,y)}\]
相應的對數似然函數爲：
\[L(\omega)=log\prod_{x,y}P_\omega(y|x)^{\tilde{P}(x,y)}\]
使得\(L(\omega)\)取值最大的\(\omega\)就是咱們要求的結果。
目標有了，後面就是數學的優化方法，梯度降低，牛頓法，改進的迭代尺度法，擬牛頓法均可以用。李航的書上重點介紹了改進的迭代尺度法和擬牛頓法。你們對細節感興趣的能夠仔細看看P88-P92以及P202-P205頁。公式挺難的，我僅僅能夠作到對着書上的公式知道它在作什麼。
簡單記錄一下這兩種方法的思路：
改進的迭代尺度法：思路是確立下界，並不斷提高下界實現求解(PS:這個思路看着跟EM算法有點像)。首先根據\(-log\alpha\geq1-\alpha\)確立一個緊的下界。但該下界每次更新時須要調整全部的\(\omega_k\),很差求解。因此再根據凸函數的琴聲不等式，確立一個相對不緊的下界，調整該下界每次只需更新一個\(\omega_k\)。這樣經過不斷迭代能夠求得最優解。
擬牛頓法：利用二階導數，用變量模擬海森矩陣，簡化求解。

條件隨機場的預測算法

條件隨機場的預測算法是指給定條件隨機場和輸入序列，求最可能出現的輸出序列。採用維特比算法，這也是一種動態規劃算法。
目標是找到使下式最大化的\(y\),注意下式就是去掉了標準\(P(y|x)\)的分子\(Z(x)\)和分母上的\(exp\)函數部分，其最終結果是不受影響的。
\[\max_y\sum_{i=1}^{n}\omega\cdot F_i(y_{i-1},y_{i},x)\]
其中，
\[F_i(y_{i-1},y_i,x)=(f_1(y_{i-1},y_i,x,i),f_2(y_{i-1},y_i,x,i),...,f_K(y_{i-1},y_i,x,i))^T\]
維特比算法須要引入兩個變量\(\delta_i(j)\)和\(\psi_i(l)\)
\(\delta_i(j)\),僅考慮從起始位置到到當前位置\(i\)這段序列,在位置\(i\)上，上面目標函數在\(y=j\)時取得的最大值
\(\psi_i(l)=j\)，\(i\)表示當前位置，\(l\)表示當前位置\(y_i\)的取值，\(j\)是前一個位置\(y_{i-1}\)的取值。也就是記錄最大值獲取的路徑。
遞推公式：
\[\delta_i(l)=\max_{1\leq j\leq m}\{\delta_{i-1}(j)+\omega\cdot F_i(y_{i-1}=j,y_i=l,x)\},\quad l=1,2,...,m\]
\[\psi_i(l)=arg\max_{1\leq j\leq m}\{\delta_{i-1}(j)+\omega\cdot F_i(y_{i-1}=j,y_i=l,x)\},\quad l=1,2,...,m\]
上述公式之因此成立，也是由於知足馬爾科夫性，因此每一個位置的結果只受上一個位置結果的影響。

參考資料

1. 李航《統計學習方法》