Elasticsearch系列---常見搜索方式與聚合分析
概要
本篇主要介紹常見的6種搜索方式、聚合分析語法，基本是上機實戰，能夠和關係型數據庫做對比，若是以前瞭解關係型數據庫，那本篇只須要了解搜索和聚合的語法規則就能夠了。java
搜索響應報文
以上篇創建的music索引爲例，咱們先看看搜索結果的屬性都有哪些mysql
{
"took": 1,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 1,
"hits": [
{
"_index": "music",
"_type": "children",
"_id": "1",
"_score": 1,
"_source": {
"name": "gymbo",
"content": "I hava a friend who loves smile, gymbo is his name",
"length": "75"
}
}
]
}
}
主要的參數說明以下：sql
- took：耗費時間，單位是毫秒。
- timed_out：是否超時，true有超時，false沒超時。
- _shards：數據拆成了5個分片，因此對於搜索請求，會到全部的primary shard查詢，或是它的某個replica shard。
- hits.total：符合查詢條件的數量，1個document。
- hits.max_score：score是符合條件的document評分的最大值。
- hits.hits.score: 這個層級的score表示當前document對search條件的相關度的匹配分數，越相關，就越匹配，分數也高。
- hits.hits：包含了匹配搜索條件的document的詳細數據。
搜索方式
query string search
搜索全部數據數據庫
GET /music/children/_searchjson
帶條件搜索api
GET /music/children/_search?q=name:gymbo&sort=length:asc數組
此搜索語法的特色是全部的條件、排序所有用http請求的query string來附帶的。這種語法通常是演示或curl命令行簡單查詢時使用，不適用構建複雜的查詢條件，生產已經不多用了。網絡
Query DSL
DSL：Domain Specified Language特定領域語言app
http request body：請求體格式，body用json構建語法，能夠構建各類複雜的語法。curl
查詢全部數據
GET /music/children/_search
{
"query":{
"match_all": {}
}
}
帶條件+排序：
GET /music/children/_search
{
"query":{
"match": {
"name": "gymbo"
}
},
"sort":[{"length":"desc"}]
}
分頁查詢，size從0開始，下面的命令取第10條到第19條數據
GET /music/children/_search
{
"query": {
"match_all":{}
},
"from": 10,
"size": 10
}
指定要查詢出來的屬性
GET /music/children/_search
{
"query": {
"match_all" : {}
},
"_source": ["name","content"]
}
query filter
帶多個條件過濾：歌曲名稱是gymbo，而且時長在65到80秒之間的
GET /music/children/_search
{
"query":{
"bool":{
"must": [
{"match": {
"name": "gymbo"
}}
],
"filter": {"range": {
"length": {
"gte": 65,
"lte": 80
}
}}
}
}
}
全文檢索
GET /music/children/_search
{
"query":{
"match": {
"content":"friend smile"
}
}
}
搜索的結果是按相關度分數來排序的，搜索條件中的content field，在新增document時已經創建倒排索引，而後按匹配度最高的來排序，全文索引的原理。
短語檢索
GET /music/children/_search
{
"query":{
"match_phrase": {
"content":"friend smile"
}
}
}
全文檢索match會拆詞，大小寫不敏感，而後去倒排索引裏去匹配，phrase search不分詞，大小寫敏感，要求搜索串徹底同樣才匹配。
高亮檢索
GET /music/children/_search
{
"query":{
"match_phrase":{
"content":"friend smile"
}
},
"highlight": {
"fields": {
"content":{}
}
}
}
匹配的關鍵詞會高亮顯示，高亮的內容用標籤達到標記效果。
聚合分析
聚合分析相似於關係型數據的分組統計，而且用的語法名稱不少都與mysql相似，在這裏，能看到不少熟悉的方法。
單field分組統計
需求：統計每種語言下的歌曲數量。
size爲0表示不顯示符合條件的document記錄，只顯示統計信息，不寫的話默認值是10
GET /music/children/_search
{
"size": 0,
"aggs": {
"group_by_lang": {
"terms": {
"field": "language"
}
}
}
}
響應結果：
{
"took": 3,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 0,
"hits": []
},
"aggregations": {
"group_by_lang": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "english",
"doc_count": 1
}
]
}
}
}
若是聚合查詢時出現以下錯誤提示：
"root_cause": [
{
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [language] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
}
]
須要將用於分組的字段的fielddata屬性設置爲true
PUT /music/_mapping/children
{
"properties": {
"language": {
"type": "text",
"fielddata": true
}
}
}
帶查詢條件的分組統計
需求：對歌詞中出現"friend"的歌曲，計算每一個語種下的歌曲數量
GET /music/children/_search
{
"size": 0,
"query": {
"match": {
"content": "friend"
}
},
"aggs": {
"all_languages": {
"terms": {
"field": "language"
}
}
}
}
求平均值
需求：計算每一個語種下的歌曲，平均時長是多少
GET /music/children/_search
{
"size": 0,
"aggs": {
"group_by_languages": {
"terms": {
"field": "language"
},
"aggs": {
"avg_length": {
"avg": {
"field": "length"
}
}
}
}
}
}
分組後排序
需求：計算每一個語種下的歌曲，平均時長是多少，並按平均時長降序排序
GET /music/children/_search
{
"size": 0,
"aggs": {
"group_by_languages": {
"terms": {
"field": "language",
"order": {
"avg_length": "desc"
}
},
"aggs": {
"avg_length": {
"avg": {
"field": "length"
}
}
}
}
}
}
嵌套查詢，區間分組+分組統計+平均值
需求：按照指定的時長範圍區間進行分組，而後在每組內再按照語種進行分組，最後再計算時長的平均值
GET /music/children/_search
{
"size": 0,
"aggs": {
"group_by_price": {
"range": {
"field": "length",
"ranges": [
{
"from": 0,
"to": 60
},
{
"from": 60,
"to": 120
},
{
"from": 120,
"to": 180
}
]
},
"aggs": {
"group_by_languages": {
"terms": {
"field": "language"
},
"aggs": {
"average_length": {
"avg": {
"field": "length"
}
}
}
}
}
}
}
}
批量查詢
上面的示例請求，都是單個單個發的，Elasticsearch還有一種語法，能夠合併多個請求進行批量查詢，這樣能夠減小每一個請求單獨的網絡開銷，最基礎的語法示例以下:
GET /_mget
{
"docs": [
{
"_index" : "music",
"_type" : "children",
"_id" : 1
},
{
"_index" : "music",
"_type" : "children",
"_id" : 2
}
]
}
mget下面的docs參數是一個數組，數組裏面每一個元素均可以定義一個文檔的_index、_type和_id元數據，_index可相同也可不相同，也能夠定義_source元數據指定想要的field。
響應的示例：
{
"docs": [
{
"_index": "music",
"_type": "children",
"_id": "1",
"_version": 4,
"found": true,
"_source": {
"name": "gymbo",
"content": "I hava a friend who loves smile, gymbo is his name",
"language": "english",
"length": "75",
"likes": 0
}
},
{
"_index": "music",
"_type": "children",
"_id": "2",
"_version": 13,
"found": true,
"_source": {
"name": "wake me, shark me",
"content": "don't let me sleep too late, gonna get up brightly early in the morning",
"language": "english",
"length": "55",
"likes": 9
}
}
]
}
響應一樣是一個docs數組，數組長度與請求時保持一致，若是有文檔不存在、未搜索到或者別的緣由致使報錯，不影響總體的結果，mget的http響應碼仍然是200，每一個文檔的搜索都是獨立的。
若是批量查詢的文檔是在同一個index下面，能夠將_index元數據(_type元數據我也順便移走)移到請求行中：
GET /music/children/_mget
{
"docs": [
{
"_id" : 1
},
{
"_id" : 2
}
]
}
或者是直接使用更簡單的ids數組：
GET /music/children/_mget
{
"ids":[1,2]
}
查詢結果是同樣的。
mget的重要性
mget是很是重要的，在進行查詢的時候，若是一次性要查詢多條數據，那麼必定要用batch批量操做的api，儘量減小網絡開銷次數，可能能夠將性能提高數倍，甚至數十倍。
小結
本篇介紹了最經常使用的搜索、批量查詢和聚合場景的寫法，包含分組統計，平均值，排序，區間分組。這是最基本的套路，基本包含了咱們常見的需求，熟悉mysql的話，掌握起來很是快，熟悉一下Restful的語法，基本就OK了。
- 1. Elasticsearch系列---常見搜索方式與聚合分析
- 2. 搜索引擎（Elasticsearch聚合分析）
- 3. elasticsearch 聚合搜索(2)
- 4. Elasticsearch搜索與分析
- 5. ElasticSearch聚合分析
- 6. ElasticSearch 聚合分析
- 7. Elasticsearch搜索方式
- 8. elasticsearch系列六：聚合分析（聚合分析簡介、指標聚合、桶聚合）
- 9. elasticsearch聚合系列之cardinality
- 10. Elasticsearch聚合分析(三)
- 更多相關文章...
- • SEO - 搜索引擎優化 - 網站建設指南
- • TCP報文格式解析 - TCP/IP教程
- • 常用的分佈式事務解決方案
- • 再有人問你分佈式事務，把這篇扔給他
-
每一个你不满意的现在，都有一个你没有努力的曾经。