語言模型和n元語法

語言模型定義 語言模型用來構建字符串s的概率分佈，即一個句子出現的概率。考慮句子中詞語的聯繫，其句子出現的概率計算公式可以表示爲： 認爲第i個詞出現的概率是由前面i-1個歷史詞決定的，這裏使用頻率來估計概率（這種估計概率值的方法稱爲極大似然估計，MLE）。在這種情況下，當i較大時，i-1個歷史詞的組合方式就很多，我們必須考慮所有i-1個歷史詞的所有組合方式和出現情況。假設詞彙集大小1000，i=3

>>阅读原文<<