漢語自動分詞，主要面臨哪些困難？

1).分詞規範的問題 (1)漢語詞的概念 漢語自動分詞的首要困難是詞的概念不清楚。書面漢語是字的序列,詞之間沒有間隔標記,使得詞的界定缺乏自然標準，而分詞結果是否正確需要有一個通用、權威的分詞標準來衡量。分詞標準的問題實際上是漢語詞與語素、詞與詞組的界定問題，這是漢語語法的一個基本、長期的問題。它涉及到許多方面： ·核心詞表問題:分詞需要有一個核心（通用、與領域無關的）詞表,凡在該詞表中的詞,分詞

>>阅读原文<<