數學之美：談談中文分詞

西方語言中詞語有明顯的分隔符，而對於中日韓等語言，詞與詞之間沒有明確分界。而語言模型又是建立在詞的基礎上的，這就導致分詞非常有必要。 中文分詞最早方法是「查字典」，就是從左到右根據字典查詢，遇到字典有的詞就標出來，遇到不認識的就分成單個詞。但這種方法存在一定的缺陷，如「發展中國家」，根據查字典將會分成「發展」、「中國」、「家」。明顯不對。 後來有了基於統計模型的分詞方法。假設某個句子可以有以下三種

>>阅读原文<<