自然語言處理基礎(1)--基本分詞方法

         基本的分詞方法包括最大匹配法、最大概率法(最短加權路徑法)、最少分詞法、基於HMM的分詞法、基於互現信息的分詞方法、基於字符標註的方法和基於實例的漢語分詞方法等。       1.最大匹配法         最大匹配法需要一個詞表,分詞的過程中用文本的候選詞去跟詞表中的詞匹配,如果匹配成功,則認爲候選詞是詞,予以切分;否則就認爲不是詞(原則就是儘可能的用最長的詞來匹配句子中的漢字
相關文章
相關標籤/搜索