分詞學習(3)，基於ngram語言模型的n元分詞

           最大概率分詞中，認爲每個詞的概率都是獨立的，但是有一部分詞，其切分卻與前一個詞密切相關，特別是中文分詞中更爲明顯，英文中就是如上一篇文章中的「tositdown」的例子。          這樣就可以使用2元模型，就是如一個分割形式"ab cde f"的概率， 如果按照1-gram計算：P(ab cde f) = P(ab)*P(cde)*P(f) 如果按照2-gram計算：

>>阅读原文<<