HanLP用戶自定義詞典源碼分析詳解

1. 官方文檔及參考連接

1. 關於詞典問題Issue，首先參考：FAQ
2. 自定義詞典實際上是基於規則的分詞，它的用法參考這個issue
3. 若是有些數量詞、字母詞須要分詞，可參考:P2P和C2C這種詞沒有分出來，但願加到主詞庫
4. 關於詞性標註：可參考詞性標註

2. 源碼解析

分析 com.hankcs.demo包下的DemoCustomDictionary.java 基於自定義詞典使用標準分詞HanLP.segment(text)的大體流程（HanLP版本1.5.3）。首先把自定義詞添加到詞庫中：

CustomDictionary.add("攻城獅");

CustomDictionary.insert("白富美", "nz 1024");//指定了自定義詞的詞性和詞頻

CustomDictionary.add("單身狗", "nz 1024 n 1")//一個詞能夠有多個詞性

 

添加詞庫的過程包括：

1. 若啓用了歸一化HanLP.Config.Normalization = true;，則會將自定義詞進行歸一化操做。歸一化操做是基於詞典文件 CharTable.txt 進行的。
2. 判斷自定義詞是否存在於自定義核心詞典中

 public static boolean add(String word)

      {

          if (HanLP.Config.Normalization) word = CharTable.convert(word);

          if (contains(word)) return false;//判斷DoubleArrayTrie和BinTrie是否已經存在word

          return insert(word, null);

      }

1. 當自定義詞不在詞典中時，構造一個CoreDictionary.Attribute對象，若添加的自定義詞未指定詞性和詞頻，則詞性默認爲 nz，頻次爲1。而後試圖使用DAT樹將該 Attribute對象添加到核心詞典中，因爲咱們自定義的詞未存在於核心詞典中，由於會添加失敗，從而將自定義詞放入到BinTrie中。所以，不在覈心自定義詞典中的詞(動態增刪的那些詞語)是使用BinTrie樹保存的。

 

public static boolean insert(String word, String natureWithFrequency)

      {

          if (word == null) return false;

          if (HanLP.Config.Normalization) word = CharTable.convert(word);

          CoreDictionary.Attribute att = natureWithFrequency == null ? new CoreDictionary.Attribute(Nature.nz, 1) : CoreDictionary.Attribute.create(natureWithFrequency);

          if (att == null) return false;

          if (dat.set(word, att)) return true;

          //"攻城獅"是動態加入的詞語. 在覈心詞典中未匹配到,在自定義詞典中也未匹配到, 動態增刪的詞語使用BinTrie保存

          if (trie == null) trie = new BinTrie<CoreDictionary.Attribute>();

          trie.put(word, att);

          return true;

      }

將自定義添加到BinTrie樹後，接下來是使用分詞算法分詞了。假設使用的標準分詞(viterbi算法來分詞)：

List<Vertex> vertexList = viterbi(wordNetAll);

分詞具體過程可參考：

分詞完成以後，返回的是一個 Vertex 列表。以下圖所示：

而後根據 是否開啓用戶自定義詞典 配置來決定將分詞結果與用戶添加的自定義詞進行合併。默認狀況下，config.useCustomDictionary是true，即開啓用戶自定義詞典。

 if (config.useCustomDictionary)

        {

            if (config.indexMode > 0)

                combineByCustomDictionary(vertexList, wordNetAll);

            else combineByCustomDictionary(vertexList);

        }

combineByCustomDictionary(vertexList)由兩個過程組成：

1. 合併DAT 樹中的用戶自定義詞。這些詞是從 詞典配置文件 CustomDictionary.txt 中加載獲得的。
2. 合併BinTrie 樹中的用戶自定義詞。這些詞是 代碼中動態添加的：CustomDictionary.add("攻城獅")

 

//DAT合併

  DoubleArrayTrie<CoreDictionary.Attribute> dat = CustomDictionary.dat;

  ....

    // BinTrie合併

  if (CustomDictionary.trie != null)//用戶經過CustomDictionary.add("攻城獅"); 動態增長了詞典

  {

      ....

合併以後的結果以下：

3. 關於用戶自定義詞典

總結一下，開啓自定義分詞的流程基本以下：

1. HanLP啓動時加載詞典文件中的CustomDictionary.txt 到DoubleArrayTrie中；用戶經過 CustomDictionary.add("攻城獅");將自定義詞添加到BinTrie中。
2. 使用某一種分詞算法分詞
3. 將分詞結果與DoubleArrayTrie或BinTrie中的自定義詞進行合併，最終返回輸出結果

HanLP做者在HanLP issue783:上面說：詞典不等於分詞、分詞不等於天然語言處理；推薦使用語料而不是詞典去修正統計模型。因爲分詞算法不能將一些「特定領域」的句子分詞正確，因而爲了糾正分詞結果，把想要的分詞結果添加到自定義詞庫中，但最好使用語料來糾正分詞的結果。另外，做者還說了在之後版本中不保證繼續支持動態添加自定義詞典。以上是閱讀源碼過程當中的一些粗淺理解，僅供參考。

 

文章轉載自hapjin 的博客