Language Modeling with N-grams (Speech and Language Processing)

語言模型

計算詞序列（words sequences)機率的模型稱爲語言模型（LMs）,詞序列(w1,w2,...,wn)的機率爲：
P(w₁ⁿ) = P(w₁)p(w₂|w₁)P(w₃|w₁w₂)...P(w_n|w₁^n-1)

Bigram model

二元模型的前提是Markov假設（一個詞的機率只依賴於其前面一個詞），值爲前一個詞下的條件機率，再也不是前面詞序列下的條件機率。
P(w_n|w₁^n-1) => P(w_n|w_n-1)

N-gram model

N元模型詞機率設爲前N-1個詞下的條件機率
P(w_n|w₁^n-1) => P(w_n|w_n-(N-1)^n-1)

計算實例

計算下二元模型的詞序列機率。
下圖展現了一個語料庫裏各詞出現次數

下圖展現了二元詞序列的出現次數及其各詞機率

如(i want)詞序列出現827次，i出現2533次，P(want|i) = 827/2533 = 0.33

log機率

一般機率計算轉換爲log機率，避免機率相乘太小溢出。存儲的時候只記錄log和，須要原始機率時再進行轉換。
P₁P₂P₃P₄=e^{(lnP₁ + lnP₂ + lnP₃ + lnP₄)}
機率大小就存儲爲lnP₁ + lnP₂ + lnP₃ + lnP₄

參考

http://web.stanford.edu/~jurafsky/slp3/