分詞

對於西方拼音語言來說，從詞之間由明確的分界符，而很多亞洲語言（如漢語、日語、韓語、泰語）詞之間沒有明確的分界符，因此需要先對句子進行分詞，才能做進一步的自然語言處理（也適用於英文詞組的分割、或者手寫識別，平板電腦、智能手機手寫時單詞間的空格可能不清楚）。 分詞的輸入是一串詞，分詞的輸出是用分界符分割的一串詞。 分詞的不一致性問題： 越界型錯誤：「北京大學生」 -> 「北京大學」、「生」 覆蓋型錯誤

>>阅读原文<<