中文分詞工具thulac4j發佈

1. 介紹

thulac4j是THULAC的Java 8工程化實現,具備分詞速度快、準、強的特色;支持java

  • 自定義詞典
  • 繁體轉簡體
  • 停用詞過濾

若想在項目中使用thulac4j,可添加依賴:git

<dependency>
  <groupId>io.github.yizhiru</groupId>
  <artifactId>thulac4j</artifactId>
  <version>${thulac4j.version}</version>
</dependency>

thulac4j支持中文分詞與詞性標註,使用示例以下:github

String sentence = "滔滔的流水,向着波士頓灣無聲逝去";
List<String> words = Segmenter.segment(sentence);
// [滔滔, 的, 流水, ,, 向着, 波士頓灣, 無聲, 逝去]

POSTagger pos = new POSTagger("models/model_c_model.bin", "models/model_c_dat.bin");
List<SegItem> words = pos.tagging(sentence);
// [滔滔/a, 的/u, 流水/n, ,/w, 向着/p, 波士頓灣/ns, 無聲/v, 逝去/v]

模型數據較大,沒有放在jar包與源碼。訓練模型下載及更多使用說明,請參看Getting Started.性能

2. 測評

測評主要從效果(準確率、召回率、F1值)、性能方面進行比較,測評結果見wiki。從測評結果看出,thulac4j的兼顧效果與速率。code

最後,歡迎你們使用並pull request;中文分詞thulac4j的QQ交流羣:373215255xml

相關文章
相關標籤/搜索