現有的分詞算法,主要分爲哪三大類?

1、 基於字符串匹配的分詞方法 這種方法又叫做機械分詞方法,它是按照一定的策略將待分析的漢字串與一個「充分大的」機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功(識別出一個詞)。按照掃描方向的不同,串匹配分詞方法可以分爲正向匹配和逆向匹配;按照不同長度優先匹配的情況,可以分爲最大(最長)匹配和最小(最短)匹配;按照是否與詞性標註過程相結合,又可以分爲單純分詞方法和分詞與標註相結合的一體
相關文章
相關標籤/搜索