Hanlp1.7版本在去年下半年的時候就隨大快的DKH1.6版本同時發佈了,截至目前1.7大版本也更新到了1.7.1了。本篇分別就1.7.0和1.7.1中新增的功能作一個簡單的彙總介紹。java
HanLP 是由一系列模型與算法組成的 Java 工具包,目標是普及天然語言處理在生產環境中的應用。HanLP 具有功能完善、性能高效、架構清晰、語料時新、可自定義的特色。 在提供豐富功能的同時,HanLP 內部模塊堅持低耦合、模型堅持惰性加載、服務堅持靜態提供、詞典堅持明文發佈,使用很是方便,同時自帶一些語料處理工具,幫助用戶訓練本身的模型。算法
1.7.0更新以下:數組
新增文本聚類模塊(k-means和repeated bisection)緩存
詞法分析器新增流水線模式架構
詞法分析器加入規則 enableRuleBasedSegment #991函數
支持經過 JVM 的啓動參數指定 data 路徑:java -DHANLP_ROOT=/opt/hanlp 則加載/opt/hanlp/data #983工具
分詞斷句支持指定斷句顆粒 #1018性能
CustomDictionary.insert("新詞語", "詞性標籤") 支持省略頻次優化
NeuralNetworkDependencyParser 構造函數接受 Segmentspa
TextRankKeyword 支持構造自任意分詞器
優化雙數組 trie 樹,構建後自動 shrink 到最低內存 #984
修訂簡繁詞典
微調 ngram 和 nr 模型
新數據包 data-for-1.7.0.zip MD5 = 4c396f3039230ddfcef20865264512b1
Portable 版同步升級到 v1.7.0
HanLP v1.7.1 更新內容:
新增可自定義用戶詞典的維特比分詞器 @AnyListen
利用 BufferedOutputStream 加速緩存生成,快37倍
自定義詞典兼容含有空格的路徑,fix #1025
增長 isCustomNature 方法
使熱更新產生的緩存文件包含用戶詞性,fix #1028
修復可變 DAT 的 entrySet 方法,fix #1038
微調 ngram,簡繁等
新數據包 data-for-1.7.1.zip MD5 = 9b8faa7fc7fddb24e27da27bd404126d
Portable 版同步升級到 v1.7.1