Hanlp1.7版本的新增功能一覽

Hanlp1.7版本在去年下半年的時候就隨大快的DKH1.6版本同時發佈了,截至目前1.7大版本也更新到了1.7.1了。本篇分別就1.7.0和1.7.1中新增的功能作一個簡單的彙總介紹。java

HanLP 是由一系列模型與算法組成的 Java 工具包,目標是普及天然語言處理在生產環境中的應用。HanLP 具有功能完善、性能高效、架構清晰、語料時新、可自定義的特色。 在提供豐富功能的同時,HanLP 內部模塊堅持低耦合、模型堅持惰性加載、服務堅持靜態提供、詞典堅持明文發佈,使用很是方便,同時自帶一些語料處理工具,幫助用戶訓練本身的模型。算法

1.7.0更新以下:數組

新增文本聚類模塊(k-means和repeated bisection)緩存

詞法分析器新增流水線模式架構

詞法分析器加入規則 enableRuleBasedSegment #991函數

支持經過 JVM 的啓動參數指定 data 路徑:java -DHANLP_ROOT=/opt/hanlp 則加載/opt/hanlp/data #983工具

分詞斷句支持指定斷句顆粒 #1018性能

CustomDictionary.insert("新詞語", "詞性標籤") 支持省略頻次優化

NeuralNetworkDependencyParser 構造函數接受 Segmentspa

TextRankKeyword 支持構造自任意分詞器

優化雙數組 trie 樹,構建後自動 shrink 到最低內存 #984

修訂簡繁詞典

微調 ngram 和 nr 模型

新數據包 data-for-1.7.0.zip MD5 = 4c396f3039230ddfcef20865264512b1

Portable 版同步升級到 v1.7.0

HanLP v1.7.1 更新內容:

新增可自定義用戶詞典的維特比分詞器 @AnyListen

利用 BufferedOutputStream 加速緩存生成,快37倍

自定義詞典兼容含有空格的路徑,fix #1025

增長 isCustomNature 方法

使熱更新產生的緩存文件包含用戶詞性,fix #1028

修復可變 DAT 的 entrySet 方法,fix #1038

微調 ngram,簡繁等

新數據包 data-for-1.7.1.zip MD5 = 9b8faa7fc7fddb24e27da27bd404126d

Portable 版同步升級到 v1.7.1

相關文章
相關標籤/搜索