Elasticsearch搜索資料彙總

       Elasticsearch（ES）是近實時的分佈式搜索分析引擎。這篇文章整理和篩選了ES相關資料，包括索引、分詞、多條件查詢、聚合、自動補全、建議詞、同義詞、安全性等等，便於你們學習和使用ES搜索引擎。

 

Elasticsearch 簡介

Elasticsearch（ES）是一個基於Lucene 構建的開源分佈式搜索分析引擎，能夠近實時的索引、檢索數據。具有高可靠、易使用、社區活躍等特色，在全文檢索、日誌分析、監控分析等場景具備普遍應用。

lucene

Lucene介紹與入門使用

Lucene.Net API

 

Elasticsearch 中文社區：https://elasticsearch.cn/article/

Elasticsearch 官方文檔：https://www.elastic.co/guide/index.html

Elasticsearch 各客戶端API（eg：.NET、JAVA、Python、Go）

Elasticsearch .net client NEST 5.x 使用總結（初始化、查詢、權重、排序、聚合等）

Elasticsearch 客戶端SDK使用建議：建立索引的Setting和mapping使用elasticsearch 提供的DSL語法更加簡單。由於客戶端API代碼裏面只提供基礎的SDK，如（ik拼音等）插件就沒有對應接口提供

Elasticsearch術語（索引、類型、文檔、集羣、節點、分片）

 

ES數據架構的主要概念（與關係數據庫Mysql對比）

在ES 早期版本，一個索引下是能夠有多個Type ，從7.0 開始，一個索引只有一個Type，即_doc。一個Type 下的文檔，都有相同的字段（Field）

 

 

安裝

docker版本的ELK快速部署

ELK

ELK 是elastic 公司旗下三款產品ElasticSearch 、Logstash 、Kibana 的首字母組合。

#、ElasticSearch 是一個基於Lucene 構建的開源，分佈式，RESTful 搜索引擎。

#、Logstash 傳輸和處理你的日誌、事務或其餘數據。

#、Kibana 將Elasticsearch 的數據分析並渲染爲可視化的報表。

Kibana User Guide

docker安裝elasticsearch和head插件

 

 

分詞器

分詞器是專門處理分詞的組件，分詞器由以下三部分組成：

1、Character Filters：針對原始文本處理，好比：去除html 標籤

2、Tokenizer：按照規則切分爲單詞，好比：按照空格切分

3、Token Filters：將切分的單詞進行加工，好比：大寫轉小寫，刪除stopwords，拼音，同義詞等

 

analyzer = CharFilters（0個或多個）+ Tokenizer(一個) + TokenFilters(0個或多個)

從圖中可以看出，從上到下依次經過Character Filters，Tokenizer 以及Token Filters，這個順序比較好理解，一個文本進來肯定要先對文本數據進行處理，再去分詞，最後對分詞的結果進行過濾。

 

ElasticSearch 分詞器是什麼

一些分詞器介紹（好比適用於英語的Snowball ）

elasticSearch Analysis Token Filters做用及相關樣例

Writing analyzers

ElasticSearch查看字段分詞結果 （便於查爲何匹配不出的問題）

Elasticsearch7 分詞器(內置分詞器和自定義分詞器)

Elasticsearch-Analysis-IK中文分詞器配置使用

elasticsearch 之分詞器配置 (IK+pinyin)

Elasticsearch 使用ik中文分詞器增長分詞熱詞（自定義詞）

 

 

Elasticsearch mapping

搞懂Elasticsearch 之Mapping （Reindex）

Mapping中的store屬性（按需查詢字段）

Elasticsearch中的store field跟non-store field的區別

Elasticsearch 理解mapping中的store屬性

 

Elasticsearch 動態模板(dynamic_templates)

normalizer 的使用

ElasticSearch Normalizer 的使用方法

elasticsearch大小寫沒法使用term查詢的問題

Adding normalizer for all keyword fields NEST

 

 

Elasticsearch DLS語法

Elasticsearch 查詢語法（模糊、精確、sort、相關性、and|or、slop間隔等）

Elasticsearch 查詢語法（多條件bool複雜查詢（must、should、filter）、日期範圍查詢）

Elasticsearch 查詢語法（bool複雜查詢、operator（||、&&、!、+）)

ElasticSearch 組合多查詢(bool, must, should, must_not, filter)

Elasticsearch中match、match_phrase、query_string和term的區別

相關性score

ElasticSearch 的分數(_score) 是怎麼計算得出 (2.X & 5.X)

Elasticsearch filter和query的不一樣

ElasticSearch 多級排序（eg：產品要根據：銷量、熱度、相關性排序）

Elasticsearch 搜索條件權重控制（boost）-- 默認狀況下，搜索條件的權重都是1

聚合查詢

Elasticsearch 聚合語法（Aggregations）

Elasticsearch 聚合查詢

經過Elasticsearch 實現聚合檢索(分組統計)

Elasticsearch 範圍查詢（數值、日期）

分頁查詢

Elasticsearch 分頁查詢

Elasticsearch 查詢語法（使用scroll響應式返回大集合文檔）

Elasticsearch 嵌套查詢，父子關係查詢

Elasticsearch 高亮顯示匹配關鍵詞（Highlight）

 

 

同義詞

elasticsearch 使用同義詞（synonym.txt）

 

 

搜索建議詞（Suggest功能）

Elasticsearch實現搜索推薦詞（C#）

基於Elasticsearch實現搜索推薦

ElasticSearch使用completion實現補全功能

Elasticsearch Suggester詳解（自動補全）

Elasticsearch搜索Suggest功能優化

elasticsearch 7.0 新特性之 search as you type

模擬實戰京東搜索效果（一）

模擬實戰京東搜索效果（二）

 

 

安全性

Meow攻擊刪除開放的的Elasticsearch（及MongoDB） 索引，建一堆以Meow結尾的奇奇怪怪的索引（如：m3egspncll-meow）----關閉外網訪問端口，或至少修改ES默認端口

用nginx給kibana、elasticsearch作權限認證

集中式日誌分析平臺- ELK Stack - 安全解決方案 X-Pack

 

 

經常使用的es語句

版本：Elasticsearch 7.9.0

在線kibana：http://134.175.121.78:5601/app/dev_tools#/console

（是我本身的服務器搭建的，請你們友好的體驗）

 

刪除索引

DELETE mall.completion

 

建立索引，並指定settings

PUT mall.completion

{

 "settings":{

   "analysis":{

     "analyzer":{

        "ik_smart_pinyin":{

          "type":"custom",

          "tokenizer":"ik_smart",

          "filter":["g_pinyin","word_delimiter"]

        },

        "ik_max_word_pinyin":{

          "type":"custom",

          "tokenizer":"ik_max_word",

          "filter":["g_pinyin","word_delimiter"]

        }

      },

     "filter":{

        "g_pinyin":{

          "type":"pinyin",

          "keep_separate_first_letter":false,

          "keep_full_pinyin":true,

          "keep_original":true,

          "limit_first_letter_length":16,

          "lowercase":true,

          "remove_duplicated_term":true

        }

      }

    }

  },

 "mappings": {

   "properties": {

     "kw_completion": {

        "type": "completion"

      },

     "kw_text":{

        "type": "text",

        "analyzer": "ik_smart_pinyin"

      }

    }

  }

}

 

查看索引設置

GET mall.completion/_settings

 

查看mapping結構

GET mall.completion/_mapping

 

批量插入數據

POST _bulk/?refresh=true

{ "index": { "_index": "mall.completion" }}

{ "kw_completion": "項目","kw_text": "項目"}

{ "index": { "_index": "mall.completion" }}

{ "kw_completion": "項目進度","kw_text": "項目進度"}

{ "index": { "_index": "mall.completion" }}

{ "kw_completion": "項目管理","kw_text": "項目管理"}

{ "index": { "_index": "mall.completion" }}

{ "kw_completion": "項目進度及調整 彙總.doc_文檔","kw_text": "項目進度及調整 彙總.doc_文檔"}

{ "index": { "_index": "mall.completion" }}

{ "kw_completion": "項目","kw_text": "項目"}

 

查看指定分詞器對文本進行分詞的結果

GET mall.completion/_analyze

{

 "analyzer": "ik_smart_pinyin",

 "text": "很棒的冬天暖心羽絨服"

}

 

根據字段的mapping，進行分詞測試

GET mall.completion/_analyze

{

 "field": "kw_text",

 "text": "很棒的冬天暖心羽絨服"

}

 

查詢文檔

GET mall.completion/_search

{

 "query": {

   "match": {

     "kw_text": "項目"

    }

  }

}

 

查看文檔中的分詞結果

GET mall.completion/_doc/CYlJTnUBrvWtEbASfvRa/_termvectors?fields=kw_text

 

使用completion獲取搜索補全建議(前綴搜索)

GET mall.completion/_search

{

   "suggest": {

        "my-completion": {

            "prefix": "項目",

            "completion": {

                "field": "kw_completion",

                "size": 20,

                "skip_duplicates": true

            }

        }

    }

}

 

獲取搜索建議詞 （xang爲拼寫錯誤，會建議爲：xiang）

GET mall.completion/_search

{

 "suggest": {

    "my-suggestion": {

     "text": "xang",

     "term": {

        "suggest_mode": "missing",

        "field": "kw_text"

      }

    }

  }

}

 

多字段匹配案例

GET mall.completion/_search

{

 "query":{

   "multi_match": {

     "query": "米",

     "fields": ["name","description","brandName","labelName","menuCategoryNamePath"]

    }

  }

}

 

查詢包含字段"keyword"的文檔

GET mall.completion/_search

{

 "query":{

   "exists": {

     "field": "keyword"

    }

  }

}

 

多條件查詢語法案例

must        文檔 必須 匹配這些條件才能被包含進來。

must_not    文檔 必須不 匹配這些條件才能被包含進來。

should      若是知足這些語句中的任意語句，將增長_score ，不然，無任何影響。它們主要用於修正每一個文檔的相關性得分。

filter      必須 匹配，但它以不評分、過濾模式來進行。這些語句對評分沒有貢獻，只是根據過濾標準來排除或包含文檔。

{

   "bool": {

        "must":     { "match": { "title": "how to make millions" }},

        "must_not": { "match": { "tag":   "spam" }},

        "should": [

            { "match": { "tag": "starred" }}

        ],

        "filter": {

          "bool": {

              "must": [

                  { "range": { "date": { "gte": "2014-01-01" }}},

                  { "range": { "price": { "lte": 29.99 }}}

              ],

              "must_not": [

                  { "term": { "category": "ebooks" }}

              ]

          }

        }

    }

}

 

 

其餘推薦閱讀

百度搜索的高級搜索技巧

ElasticSearch 電商搜索實現（按"地裏座標"排序）

Implementing A Modern E-Commerce Search

 

 

 

 

==============================================================================

over，謝謝查閱，以爲文章對你有收穫，請多幫推薦。歡迎向我提供更好的資料信息。