Elasticsearch Analyzer

前言

walker 使用的 Elasticsearch 版本爲 7.x
推薦學習阮一鳴《 Elasticsearch 核心技術與實戰》

Analyzer 組成部分

分析器（analyzer）由三部分組成：字符過濾器（CharacterFilters）、分詞器（Tokenizer）和詞元過濾器（TokenFilters）。

analyzer / search_analyzer

• 默認狀況下，建索引（index）和搜索（search）都用同一個分析器（analyzer）
• 在 search_analyzer 時，搜索用 search_analyzer 分析器

Analyzer 安裝方法

• 查看已安裝哪些插件

# cmd 安裝後可見
./bin/elasticsearch-plugin list
# url 安裝、重啓後可見
 http://10.10.10.10:9200/_cat/plugins
# kibana
GET /_cat/plugins

• 安裝內置 Analyzer（以 ICU 爲例）

./bin/elasticsearch-plugin install analysis-icu

• 安裝 Github 上的 Analyzer（以 IK 爲例）

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-analysis-ik-7.4.2.zip

• 安裝本地的 zip 包

./bin/elasticsearch-plugin install file:///usr/share/es/download/plugin/elasticsearch-analysis-ik-7.4.2.zip

• 免確認

-b
--batch

Analyzer 測試方法

POST _analyze
{
  "analyzer": "simple",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

內置 Analyzer 與 官方插件

• 內置分析器
• 官方分析插件

英文 Analyzer

Standard Analyzer

• 內置分析器 Standard Analyzer

Simple Analyzer

• 內置分析器 Simple Analyzer

中文 Analyzer

ICU

• 官方分詞插件 ICU

SmartCN

• 官方分詞插件 SmartCN

HanLP

• 在線測試： http://hanlp.com/
• GitHub： https://github.com/hankcs/HanLP
• HanLP Elasticsearch 插件： https://github.com/KennFalcon/elasticsearch-analysis-hanlp

IK

• IK Elasticsearch 插件： https://github.com/medcl/elasticsearch-analysis-ik

Pinyin

• Pinyin https://github.com/medcl/elasticsearch-analysis-pinyin

相關閱讀

• 一文看懂NLP裏的分詞（中英文區別+3 大難點+3 種典型方法）
• 咱們經常說「英語等拼音文字是一維的，漢語是二維的」，那麼是否可能存在更高維的文字？
• 世界各大語言文字的比較看漢語漢字的優劣