機率語言模型 Probabilistic Language Modeling (二) --- 模型估計算法介紹

1. 原因–數據稀疏問題 假設 k 泛指某一事件， N(k) 表示事件 k 觀察到的頻數，極大似然法使用相對頻數做爲對事件 k 的機率估計爲 p(k)=N(k)N ,在語言模型中，訓練語料中大量的事件 N(k)=0 ，這顯然沒有反映真實狀況,這種零值的機率估計會致使語言模型算法的失敗。web 2. 解決方法–平滑 給「零機率和低機率的N元語法」指派非零機率。平滑分爲打折和回退，打折是指將某個非零n

>>阅读原文<<