詞彙與分詞技術

中文分詞主要分爲三個流派： 機械式分詞法（基於詞典）： 簡單來說就是建立一個巨大的詞典，然後將詞典中的詞語和文章中的詞語相匹配，找到這個詞語就算匹配成功，但是詞典的完備性得不到保證。也就是文章中的有的詞語在詞典中找不到。 基於語法和規則的分詞法： 分詞的同時在句法語義方面進行分析，利用句法信息和語義信息進行詞性標註，解決分詞的歧義。 因爲現在的語法句法還十分複雜，所以精度還不高。 基於統計的分詞法

>>阅读原文<<