HanLP《天然語言處理入門》筆記--2.詞典分詞

筆記轉載於GitHub項目：https://github.com/NLP-LOVE/Introduction-NLP

2. 詞典分詞

• 中文分詞：指的是將一段文本拆分爲一系列單詞的過程，這些單詞順序拼接後等於原文本。
• 中文分詞算法大體分爲基於詞典規則與基於機器學習這兩大派。

2.1 什麼是詞

• 在基於詞典的中文分詞中，詞的定義要現實得多：詞典中的字符串就是詞。

• 詞的性質--齊夫定律：一個單詞的詞頻與它的詞頻排名成反比。

2.2 詞典

互聯網詞庫(SogouW， 15萬個詞條)、清華大學開放中文詞庫(THUOCL)、HanLP詞庫(千萬級詞條)

這裏以HanLP附帶的迷你核心詞典爲例(本項目路徑)：data/dictionnary/CoreNatureDictionary.mini.txt

上升  v   98  vn  18
上升期 n   1
上升股 n   1
上午  t   147
上半葉 t   3
上半場 n   2
上半夜 t   1

HanLP中的詞典格式是一種以空格分隔的表格形式，第一列是單詞自己，以後每兩列分別表示詞性與相應的詞頻。

2.3 切分算法

首先，加載詞典：

def load_dictionary():
    dic = set()

    # 按行讀取字典文件，每行第一個空格以前的字符串提取出來。
    for line in open("CoreNatureDictionary.mini.txt","r"):
        dic.add(line[0:line.find('  ')])
    
    return dic

1. 徹底切分

   指的是，找出一段文本中的全部單詞。

   def fully_segment(text, dic):
       word_list = []
       for i in range(len(text)):                  # i 從 0 到text的最後一個字的下標遍歷
           for j in range(i + 1, len(text) + 1):   # j 遍歷[i + 1, len(text)]區間
               word = text[i:j]                    # 取出連續區間[i, j]對應的字符串
               if word in dic:                     # 若是在詞典中，則認爲是一個詞
                   word_list.append(word)
       return word_list
   
   dic = load_dictionary()
   print(fully_segment('就讀北京大學', dic))

   輸出：

   ['就', '就讀', '讀', '北', '北京', '北京大學', '京', '大', '大學', '學']

   輸出了全部可能的單詞。因爲詞庫中含有單字，因此結果中也出現了一些單字。

2. 正向最長匹配

   上面的輸出並非中文分詞，咱們更須要那種有意義的詞語序列，而不是全部出如今詞典中的單詞所構成的鏈表。好比，咱們但願「北京大學」成爲一整個詞，而不是「北京 + 大學」之類的碎片。具體來講，就是在以某個下標爲起點遞增查詞的過程當中，優先輸出更長的單詞，這種規則被稱爲最長匹配算法。從前日後匹配則稱爲正向最長匹配，反之則稱爲逆向最長匹配。

   def forward_segment(text, dic):
       word_list = []
       i = 0
       while i < len(text):
           longest_word = text[i]                      # 當前掃描位置的單字
           for j in range(i + 1, len(text) + 1):       # 全部可能的結尾
               word = text[i:j]                        # 從當前位置到結尾的連續字符串
               if word in dic:                         # 在詞典中
                   if len(word) > len(longest_word):   # 而且更長
                       longest_word = word             # 則更優先輸出
           word_list.append(longest_word)              # 輸出最長詞
           i += len(longest_word)                      # 正向掃描
       return word_list
   
   dic = load_dictionary()
   print(forward_segment('就讀北京大學', dic))
   print(forward_segment('研究生命起源', dic))

   輸出：

   ['就讀', '北京大學']
   ['研究生', '命', '起源']

   第二句話就會產生偏差了，咱們是須要把「研究」提取出來，結果按照正向最長匹配算法就提取出了「研究生」，因此人們就想出了逆向最長匹配。

3. 逆向最長匹配

   def backward_segment(text, dic):
       word_list = []
       i = len(text) - 1
       while i >= 0:                                   # 掃描位置做爲終點
           longest_word = text[i]                      # 掃描位置的單字
           for j in range(0, i):                       # 遍歷[0, i]區間做爲待查詢詞語的起點
               word = text[j: i + 1]                   # 取出[j, i]區間做爲待查詢單詞
               if word in dic:
                   if len(word) > len(longest_word):   # 越長優先級越高
                       longest_word = word
                       break
           word_list.insert(0, longest_word)           # 逆向掃描，因此越先查出的單詞在位置上越靠後
           i -= len(longest_word)
       return word_list
   
   dic = load_dictionary()
   print(backward_segment('研究生命起源', dic))
   print(backward_segment('項目的研究', dic))

   輸出：

   ['研究', '生命', '起源']
   ['項', '目的', '研究']

   第一句正確了，但下一句又出錯了，可謂拆東牆補西牆。另外一些人提出綜合兩種規則，期待它們取長補短，稱爲雙向最長匹配。

4. 雙向最長匹配

   這是一種融合兩種匹配方法的複雜規則集，流程以下：

   • 同時執行正向和逆向最長匹配，若二者的詞數不一樣，則返回詞數更少的那一個。
   • 不然，返回二者中單字更少的那一個。當單字數也相同時，優先返回逆向最長匹配的結果。

   def count_single_char(word_list: list):  # 統計單字成詞的個數
       return sum(1 for word in word_list if len(word) == 1)
   
   
   def bidirectional_segment(text, dic):
       f = forward_segment(text, dic)
       b = backward_segment(text, dic)
       if len(f) < len(b):                                  # 詞數更少優先級更高
           return f
       elif len(f) > len(b):
           return b
       else:
           if count_single_char(f) < count_single_char(b):  # 單字更少優先級更高
               return f
           else:
               return b                                     # 都相等時逆向匹配優先級更高
   
   
   print(bidirectional_segment('研究生命起源', dic))
   print(bidirectional_segment('項目的研究', dic))

   輸出：

   ['研究', '生命', '起源']
   ['項', '目的', '研究']

經過以上幾種切分算法，咱們能夠作一個對比：

上圖顯示，雙向最長匹配的確在二、三、5這3種狀況下選擇出了最好的結果，但在4號句子上選擇了錯誤的結果，使得最終正確率 3/6 反而小於逆向最長匹配的 4/6 ， 由此，規則系統的脆弱可見一斑。規則集的維護有時是拆東牆補西牆，有時是幫倒忙。

2.4 字典樹

匹配算法的瓶頸之一在於如何判斷集合(詞典)中是否含有字符串。若是用有序集合TreeMap)的話，複雜度是o(logn) ( n是詞典大小);若是用散列表( Java的HashMap. Python的dict )的話，帳面上的時間複雜度雖然降低了，但內存複雜度卻上去了。有沒有速度又快、內存又省的數據結構呢？這就是字典樹。

1. 什麼是字典樹

   字符串集合經常使用宇典樹(trie樹、前綴樹)存儲，這是一種字符串上的樹形數據結構。字典樹中每條邊都對應一個字， 從根節點往下的路徑構成一個個字符串。字典樹並不直接在節點上存儲字符串， 而是將詞語視做根節點到某節點之間的一條路徑，並在終點節點(藍色) 上作個標記「該節點對應詞語的結尾」。字符串就是一 條路徑，要查詢一個單詞，只需順着這條路徑從根節點往下走。若是能走到特殊標記的節點，則說明該字符串在集合中，不然說明不存在。一個典型的字典樹以下圖所示所示。

   其中，藍色標記着該節點是一個詞的結尾，數字是人爲的編號。按照路徑咱們能夠獲得以下表所示：

   詞語	路徑
   入門	0-1-2
   天然	0-3-4
   天然人	0-3-4-5
   天然語言	0-3-4-6-7
   自語	0-3-8

   當詞典大小爲 n 時，雖然最壞狀況下字典樹的複雜度依然是O(logn) (假設子節點用對數複雜度的數據結構存儲，全部詞語都是單字)，但它的實際速度比二分查找快。這是由於隨着路徑的深刻，前綴匹配是遞進的過程，算法沒必要比較字符串的前綴。

2. 字典樹的實現

   由上圖可知，每一個節點都應該至少知道本身的子節點與對應的邊，以及本身是否對應一個詞。若是要實現映射而不是集合的話，還須要知道本身對應的值。咱們約定用值爲None表示節點不對應詞語，雖然這樣就不能插人值爲None的鍵了，但實現起來更簡潔。那麼字典樹的實現參見項目路徑(與書上略有不一樣，我寫的比較簡潔)：code/ch02/trie.py

   經過debug運行 trie.py 代碼，能夠觀察到 trie 類的字典樹結構：

2.5 基於字典樹的其它算法

字典樹的數據結構在以上的切分算法中已經很快了，但厲害的是做者經過本身的努力改進了基於字典樹的算法，把分詞速度推向了千萬字每秒的級別，這裏不一一詳細介紹，詳情見書，主要按照如下遞進關係優化：

• 首字散列其他二分的字典樹
• 雙數組字典樹
• AC自動機(多模式匹配)
• 基於雙數組字典樹的AC自動機

2.6 HanLP的詞典分詞實現

1. DoubleArrayTrieSegment

   DoubleArrayTrieSegment分詞器是對DAT最長匹配的封裝，默認加載hanlp.properties中CoreDictionaryPath制定的詞典。

   from pyhanlp import *
   
   # 不顯示詞性
   HanLP.Config.ShowTermNature = False
   
   # 可傳入自定義字典 [dir1, dir2]
   segment = DoubleArrayTrieSegment()
   # 激活數字和英文識別
   segment.enablePartOfSpeechTagging(True)
   
   print(segment.seg("江西鄱陽湖乾枯，中國最大淡水湖變成大草原"))
   print(segment.seg("上海市虹口區大連西路550號SISU"))

   輸出：

   [江西, 鄱陽湖, 乾枯, ，, 中國, 最大, 淡水湖, 變成, 大草原]
   [上海市, 虹口區, 大連, 西路, 550, 號, SISU]

2. 去掉停用詞

   停用詞詞典文件：data/dictionnary/stopwords.txt

   該詞典收錄了常見的中英文無心義詞彙(不含敏感詞)，每行一個詞。

   def load_from_file(path):
       """
       從詞典文件加載DoubleArrayTrie
       :param path: 詞典路徑
       :return: 雙數組trie樹
       """
       map = JClass('java.util.TreeMap')()  # 建立TreeMap實例
       with open(path) as src:
           for word in src:
               word = word.strip()  # 去掉Python讀入的\n
               map[word] = word
       return JClass('com.hankcs.hanlp.collection.trie.DoubleArrayTrie')(map)
   
   
   ## 去掉停用詞
   def remove_stopwords_termlist(termlist, trie):
       return [term.word for term in termlist if not trie.containsKey(term.word)]
   
   
   trie = load_from_file('stopwords.txt')
   termlist = segment.seg("江西鄱陽湖乾枯了，中國最大的淡水湖變成了大草原")
   print('去掉停用詞前：', termlist)
   
   print('去掉停用詞後：', remove_stopwords_termlist(termlist, trie))

   輸出：

   去掉停用詞前： [江西, 鄱陽湖, 乾枯, 了, ，, 中國, 最大, 的, 淡水湖, 變成, 了, 大草原]
   去掉停用詞後： ['江西', '鄱陽湖', '乾枯', '中國', '最大', '淡水湖', '變成', '大草原']

2.7 GitHub項目

HanLP何晗--《天然語言處理入門》筆記：

https://github.com/NLP-LOVE/Introduction-NLP

項目持續更新中......

目錄

---

章節
第 1 章：新手上路
第 2 章：詞典分詞
第 3 章：二元語法與中文分詞
第 4 章：隱馬爾可夫模型與序列標註
第 5 章：感知機分類與序列標註
第 6 章：條件隨機場與序列標註
第 7 章：詞性標註
第 8 章：命名實體識別
第 9 章：信息抽取
第 10 章：文本聚類
第 11 章：文本分類
第 12 章：依存句法分析
第 13 章：深度學習與天然語言處理