HanLP-實詞分詞器詳解

 

在進行文本分類（非情感分類）時，咱們常常只保留實詞（名、動、形）等詞，爲了文本分類的分詞方便，HanLP專門提供了實詞分詞器類NotionalTokenizer，同時在分類數據集加載處理時，默認使用了NotionalTokenizer分詞器。

在HanLPJava版代碼庫中能夠查看下邊的文件中的函數

 

一、AbstractDataSet.java文件中的AbstractDataSet方法

二、HanLPTokenizer.java文件中的segment方法

三、NotionalTokenizer.java文件中的segment方法

 

簡單說明一下NotionalTokenizer類實現

 

一、初始化了一個維特比分詞器實例（最短路徑方法，用viterbi思想實現）

二、用CoreStopWordDictionary類的shouldInclude方法對維特比分詞結果進行過濾，該方法只保留屬於名詞、動詞、副詞、形容詞而且不在停用詞表中的詞。詳見CoreStopWordDictionary.java文件中的shouldInclude(Term)方法。

對於PyHanLP的調用方法能夠參考

# # -*- coding:utf-8 -*-

# Author：wancong

# Date: 2018-04-30

from pyhanlp import *

def demo_notional_tokenizer():

    """ 演示自動去除停用詞、自動斷句的分詞器

    >>> demo_notional_tokenizer()

    [小區/n, 居民/n, 反對/v, 餵養/v, 流浪貓/nz, 居民/n, 同意/v, 餵養/v, 小寶貝/nz]

    [小區/n, 居民/n, 反對/v, 餵養/v, 流浪貓/nz]

    [居民/n, 同意/v, 餵養/v, 小寶貝/nz]

    """

    Term =JClass("com.hankcs.hanlp.seg.common.Term")

    NotionalTokenizer = JClass("com.hankcs.hanlp.tokenizer.NotionalTokenizer")

 

    text = "小區居民有的反對餵養流浪貓，而有的居民卻同意餵養這些小寶貝"

    print(NotionalTokenizer.segment(text))

    for sentence in NotionalTokenizer.seg2sentence(text):

        print(sentence)

 

if __name__ == "__main__":

    import doctest

doctest.testmod(verbose=True)