Elasticsearch系列---常見搜索方式與聚合分析

時間  2019-11-24
標籤 elasticsearch 系列 常見 搜索 方式 聚合 分析 欄目 日誌分析 简体版
原文   原文鏈接

概要

本篇主要介紹常見的6種搜索方式、聚合分析語法，基本是上機實戰，能夠和關係型數據庫做對比，若是以前瞭解關係型數據庫，那本篇只須要了解搜索和聚合的語法規則就能夠了。java

搜索響應報文

以上篇創建的music索引爲例，咱們先看看搜索結果的屬性都有哪些mysql

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "music",
        "_type": "children",
        "_id": "1",
        "_score": 1,
        "_source": {
          "name": "gymbo",
          "content": "I hava a friend who loves smile, gymbo is his name",
          "length": "75"
        }
      }
    ]
  }
}

主要的參數說明以下：sql

  • took：耗費時間，單位是毫秒。
  • timed_out：是否超時，true有超時，false沒超時。
  • _shards：數據拆成了5個分片，因此對於搜索請求，會到全部的primary shard查詢，或是它的某個replica shard。
  • hits.total：符合查詢條件的數量，1個document。
  • hits.max_score：score是符合條件的document評分的最大值。
  • hits.hits.score: 這個層級的score表示當前document對search條件的相關度的匹配分數，越相關，就越匹配，分數也高。
  • hits.hits：包含了匹配搜索條件的document的詳細數據。

搜索方式

搜索全部數據數據庫

GET /music/children/_searchjson

帶條件搜索api

GET /music/children/_search?q=name:gymbo&sort=length:asc數組

此搜索語法的特色是全部的條件、排序所有用http請求的query string來附帶的。這種語法通常是演示或curl命令行簡單查詢時使用，不適用構建複雜的查詢條件，生產已經不多用了。網絡

Query DSL

DSL：Domain Specified Language特定領域語言架構

http request body：請求體格式，body用json構建語法，能夠構建各類複雜的語法。併發

查詢全部數據

GET /music/children/_search
{
  "query":{
    "match_all": {}
  }
}

帶條件+排序：

GET /music/children/_search
{
  "query":{
    "match": {
      "name": "gymbo"
    }
  },
  "sort":[{"length":"desc"}]
}

分頁查詢，size從0開始，下面的命令取第10條到第19條數據

GET /music/children/_search
{
  "query": {
    "match_all":{}
  },
  "from": 10,
  "size": 10
}

指定要查詢出來的屬性

GET /music/children/_search
{
  "query": {
    "match_all" : {}
  },
  "_source": ["name","content"]
}

query filter

帶多個條件過濾：歌曲名稱是gymbo，而且時長在65到80秒之間的

GET /music/children/_search
{
  "query":{
    "bool":{
      "must": [
        {"match": {
          "name": "gymbo"
        }}
      ],
      "filter": {"range": {
        "length": {
          "gte": 65,
          "lte": 80
        }
      }}
    }
  }
}

全文檢索

GET /music/children/_search
{
  "query":{
    "match": {
      "content":"friend smile"
    }
  }
}

搜索的結果是按相關度分數來排序的，搜索條件中的content field，在新增document時已經創建倒排索引，而後按匹配度最高的來排序，全文索引的原理。

短語檢索

GET /music/children/_search
{
  "query":{
    "match_phrase": {
      "content":"friend smile"
    }
  }
}

全文檢索match會拆詞，大小寫不敏感，而後去倒排索引裏去匹配，phrase search不分詞，大小寫敏感，要求搜索串徹底同樣才匹配。

高亮檢索

GET /music/children/_search
{
  "query":{
    "match_phrase":{
      "content":"friend smile"
    }
  },
  "highlight": {
    "fields": {
      "content":{}
    }
  }
}

匹配的關鍵詞會高亮顯示，高亮的內容用標籤達到標記效果。

聚合分析

聚合分析相似於關係型數據的分組統計，而且用的語法名稱不少都與mysql相似，在這裏，能看到不少熟悉的方法。

單field分組統計

需求：統計每種語言下的歌曲數量。

size爲0表示不顯示符合條件的document記錄，只顯示統計信息，不寫的話默認值是10

GET /music/children/_search
{
  "size": 0,
  "aggs": {
    "group_by_lang": {
      "terms": {
        "field": "language"
      }
    }
  }
}

響應結果：

{
  "took": 3,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_by_lang": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "english",
          "doc_count": 1
        }
      ]
    }
  }
}

若是聚合查詢時出現以下錯誤提示：

"root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [language] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    ]

須要將用於分組的字段的fielddata屬性設置爲true

PUT /music/_mapping/children
{
  "properties": {
    "language": {
      "type": "text",
      "fielddata": true
    }
  }
}

帶查詢條件的分組統計

需求：對歌詞中出現"friend"的歌曲，計算每一個語種下的歌曲數量

GET /music/children/_search
{
  "size": 0,
  "query": {
    "match": {
      "content": "friend"
    }
  },
  "aggs": {
    "all_languages": {
      "terms": {
        "field": "language"
      }
    }
  }
}

求平均值

需求：計算每一個語種下的歌曲，平均時長是多少

GET /music/children/_search
{
    "size": 0,
    "aggs": {
        "group_by_languages": {
            "terms": {
                "field": "language"
            },
            "aggs": {
                "avg_length": {
                    "avg": {
                        "field": "length"
                    }
                }
            }
        }
    }
}

分組後排序

需求：計算每一個語種下的歌曲，平均時長是多少，並按平均時長降序排序

GET /music/children/_search
{
    "size": 0,
    "aggs": {
        "group_by_languages": {
            "terms": {
                "field": "language",
                "order": {
                  "avg_length": "desc"
                }
            },
            "aggs": {
                "avg_length": {
                    "avg": {
                        "field": "length"
                    }
                }
            }
        }
    }
}

嵌套查詢，區間分組+分組統計+平均值

需求：按照指定的時長範圍區間進行分組，而後在每組內再按照語種進行分組，最後再計算時長的平均值

GET /music/children/_search
{
  "size": 0,
  "aggs": {
    "group_by_price": {
      "range": {
        "field": "length",
        "ranges": [
          {
            "from": 0,
            "to": 60
          },
          {
            "from": 60,
            "to": 120
          },
          {
            "from": 120,
            "to": 180
          }
        ]
      },
      "aggs": {
        "group_by_languages": {
          "terms": {
            "field": "language"
          },
          "aggs": {
            "average_length": {
              "avg": {
                "field": "length"
              }
            }
          }
        }
      }
    }
  }
}

批量查詢

上面的示例請求，都是單個單個發的，Elasticsearch還有一種語法，能夠合併多個請求進行批量查詢，這樣能夠減小每一個請求單獨的網絡開銷，最基礎的語法示例以下:

GET /_mget
{
  "docs": [
    {
      "_index" : "music",
       "_type" : "children",
       "_id" :    1
    },
    {
      "_index" : "music",
       "_type" : "children",
       "_id" :    2
    }
  ]
}

mget下面的docs參數是一個數組，數組裏面每一個元素均可以定義一個文檔的_index、_type和_id元數據，_index可相同也可不相同，也能夠定義_source元數據指定想要的field。

響應的示例：

{
  "docs": [
    {
      "_index": "music",
      "_type": "children",
      "_id": "1",
      "_version": 4,
      "found": true,
      "_source": {
        "name": "gymbo",
        "content": "I hava a friend who loves smile, gymbo is his name",
        "language": "english",
        "length": "75",
        "likes": 0
      }
    },
    {
      "_index": "music",
      "_type": "children",
      "_id": "2",
      "_version": 13,
      "found": true,
      "_source": {
        "name": "wake me, shark me",
        "content": "don't let me sleep too late, gonna get up brightly early in the morning",
        "language": "english",
        "length": "55",
        "likes": 9
      }
    }
  ]
}

響應一樣是一個docs數組，數組長度與請求時保持一致，若是有文檔不存在、未搜索到或者別的緣由致使報錯，不影響總體的結果，mget的http響應碼仍然是200，每一個文檔的搜索都是獨立的。

若是批量查詢的文檔是在同一個index下面，能夠將_index元數據(_type元數據我也順便移走)移到請求行中：

GET /music/children/_mget
{
  "docs": [
    {
       "_id" :    1
    },
    {
       "_id" :    2
    }
  ]
}

或者是直接使用更簡單的ids數組：

GET /music/children/_mget
{
  "ids":[1,2]
}

查詢結果是同樣的。

mget的重要性

mget是很是重要的，在進行查詢的時候，若是一次性要查詢多條數據，那麼必定要用batch批量操做的api，儘量減小網絡開銷次數，可能能夠將性能提高數倍，甚至數十倍。

小結

本篇介紹了最經常使用的搜索、批量查詢和聚合場景的寫法，包含分組統計，平均值，排序，區間分組。這是最基本的套路，基本包含了咱們常見的需求，熟悉mysql的話，掌握起來很是快，熟悉一下Restful的語法，基本就OK了。

專一Java高併發、分佈式架構，更多技術乾貨分享與心得，請關注公衆號：Java架構社區
Java架構社區
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程