數學之美：統計語言模型

一個有意義的句子是由一定順序的詞組成，則一個句子出現的可能性可以使用如下表示： 這是典型的條件概率理論，也就是說當我們知道第一詞w1後，要預測下一個w2的概率時是在基於已知詞w1的情況下預測的。但是當一個句子很長時，越是後面的詞，其條件概率的類型越多，難以估算。因爲在這個詞前面有n-1個詞，這也就是說P(wn|w1,w2…wn-1)的種類由於每個wi都有字典長度個數L的可能性，導致變量空間是有L^

>>阅读原文<<