ElasticSearch實戰系列二: ElasticSearch的DSL語句使用教程---圖文詳解

時間  2019-11-21
標籤 elasticsearch 實戰 系列 dsl 語句 使用 教程 圖文 詳解 欄目 日誌分析 简体版
原文   原文鏈接

前言

在上一篇中介紹了ElasticSearch集羣和kinaba的安裝教程，本篇文章就來說解下 ElasticSearch的DSL語句使用。html

ElasticSearch DSL 介紹

Elasticsearch提供了基於JSON的完整查詢DSL（特定於域的語言）來定義查詢。將查詢DSL視爲查詢的AST（抽象語法樹），它由兩種子句組成：數據庫

  • 葉子查詢子句:
    葉查詢子句中尋找一個特定的值在某一特定領域，如 match，term或 range查詢。這些查詢能夠本身使用。
  • 複合查詢子句
    複合查詢子句包裝其餘葉查詢或複合查詢，並用於以邏輯方式組合多個查詢（例如 bool或dis_max查詢），或更改其行爲（例如 constant_score查詢）。
    查詢子句的行爲會有所不一樣，具體取決於它們是在 查詢上下文中仍是在過濾器上下文中使用。

咱們在使用ElasticSearch的時候，避免不了使用DSL語句去查詢，就像使用關係型數據庫的時候要學會SQL語法同樣。若是咱們學習好了DSL語法的使用，那麼在往後使用和使用Java Client調用時候也會變得很是簡單。數組

ElasticSearch DSL 語句使用

這裏咱們先來介紹下DSL 語句簡單的使用，從最經常使用的增刪改查開始！緩存

1、新增數據

ElasticSearch能夠直接新增數據，只要你指定了index(索引庫名稱)和type(類型)便可。在新增的時候你能夠本身指定主鍵ID，也能夠不指定，由 ElasticSearch自身生成。數據結構

新增數據命令示例:app

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

kinaba示例圖:
在這裏插入圖片描述
**注: POST test1/_doc/1 這是指定主鍵ID爲1，若是POST test1/_doc 的話，那麼即是es自身生成ES語句。**less

這裏咱們還能夠經過 GET test1/ 或 GET test1/_settings和GET test1/_mapping查看該index的狀態，也就是 setting(設置選項) 和mapping(數據結構)。
在這裏插入圖片描述elasticsearch

2、建立索引庫

在上述示例中，咱們經過直接經過建立數據從而建立了索引庫，可是沒有建立索引庫而經過ES自身生成的這種並不友好，由於它會使用默認的配置，字段結構都是text(text的數據會分詞，在存儲的時候也會額外的佔用空間)，分片和索引副本採用默認值，默認是5和1，ES的分片數在建立以後就不能修改，除非reindex(下面會講到)，因此這裏咱們仍是指定數據模板進行建立。ide

這裏先簡單介紹一下ES的數據結構，如下的數據結構爲ES的6.x版本。函數

  • 核心數據類型
    text 和 keyword
  • 數值數據類型
    long，integer，short，byte，double，float，half_float，scaled_float
  • 日期數據類型
    date
  • 布爾數據類型
    boolean
  • 二進制數據類型
    binary

  • 範圍數據類型
    integer_range，float_range，long_range，double_range，date_range

  • 複雜數據類型編輯
  • 對象數據類型
    object 用於單個JSON對象

  • 嵌套數據類型
    nested 用於JSON對象數組

  • 地理數據類型編輯
  • 地理位置數據類型
    geo_point 緯度/經度積分

  • 地理形狀數據類型
    geo_shape 用於多邊形等複雜形狀

  • 專業數據類型編輯
  • IP數據類型
    ip 用於IPv4和IPv6地址
  • 完成數據類型
    completion 提供自動完成建議
  • 令牌計數數據類型
    token_count 計算字符串中令牌的數量
    mapper-murmur3
    murmur3 在索引時計算值的哈希並將其存儲在索引中
    mapper-annotated-text
    annotated-text 索引包含特殊標記的文本（一般用於標識命名實體）
  • 滲濾器類型
    接受來自query-dsl的查詢
  • join 數據類型
    爲同一索引內的文檔定義父/子關係

  • 別名數據類型
    爲現有字段定義別名。

  • 多字段編輯
    爲不一樣的目的以不一樣的方式對同一字段創建索引一般頗有用。例如，一個string字段能夠映射爲text用於全文搜索的字段，也能夠映射爲keyword用於排序或聚合的字段。或者，您可使用standard分析儀， english分析儀和 french分析儀索引文本字段。
    這是多領域的目的。大多數數據類型經過fields參數支持多字段。

上面介紹的字段介紹雖然比較複雜，可是咱們經常使用的幾個類型也就是這幾種 text、keyword、byte、short、integer、long、float、double、boolean、date，其中text和keyword都是string類型，選擇區分很簡單，須要進行分詞用text，不須要而且進行排序或聚合的能夠用keyword。

關於ES的數據結構就到這裏了，咱們來進行索引庫的建立吧！

新增索引庫的命令示例:

PUT test1
{
    "settings" : {
        "number_of_shards" : 10,
        "number_of_replicas" : 1,
         "refresh_interval" : "1s"
    },
    "mappings" : {
        "_doc" : {
            "properties" : {
                "uid" : { "type" : "long" },
                "phone" : { "type" : "long" },
                "message" : { "type" : "keyword" },
                "msgcode" : { "type" : "long" },
                 "sendtime" : {  
                  "type" : "date",
                  "format" : "yyyy-MM-dd HH:mm:ss" 
  }
                
            }
        }
    }
}

示例圖:
在這裏插入圖片描述
在這裏插入圖片描述
注:

  • number_of_shards: 是設置的分片數，設置以後沒法更改！
  • refresh_interval: 是設置es緩存的刷新時間，若是寫入較爲頻繁，可是查詢對實時性要求不那麼高的話，能夠設置高一些來提高性能。能夠更改
  • number_of_replicas : 是設置該索引庫的副本數，建議設置爲1以上。

其中這裏還有幾個重要參數也順便說一下:

  • store: true/false 表示該字段是否存儲，默認存儲。
  • doc_values: true/false 表示該字段是否參與聚合和排序。
  • index: true/false 表示該字段是否創建索引，默認創建。

關於這幾個字段的取值能夠參考一下的示例圖:
在這裏插入圖片描述

3、修改數據

其實ES的新增和修改能夠看作是同樣，存在則修改，不存在則新增，不過這裏仍是簡單的介紹下吧。
修改數據的方式主要有兩種，一種是經過主鍵ID進行修改，這種比較簡單，就是和新增同樣便可。
另外一種則是經過條件進行修改，至關於SQL更新語句的 where條件。

根據主鍵修改的命令示例:

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

根據條件修改的命令示例:

POST test1/_update_by_query
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  } ,
  "script": {
    "source": "ctx._source['message'] = 'xuwujing'"
  }
}

原有的數據：
在這裏插入圖片描述

修改後的數據:
在這裏插入圖片描述
注：這裏的根據條件進行修改用到的腳本語言，ES除了使用DSl語句以後，使用一些官方定義的腳本語言和SQL語句也能進行操做，腳本語言和SQL語句的操做留到之後在來說下。

4、刪除數據、字段和索引庫

ES根據主鍵刪除數據的命令示例是DELETE 索引庫/id，簡單實用，可是必定要要加上ID，否則就是刪除索引庫了！

根據主鍵刪除數據命令示例：

DELETE test1/1

根據條件刪除數據的命令示例：

POST test/_delete_by_query
{
  "query": {
      "term": {
        "phone": "12345678909"
      }
  }
}

固然ES還能夠根據條件只刪除某一個字段的數據，好比刪除字段msgcode的數據。

刪除字段數據的命令示例:

POST test/_doc/_update_by_query
{
"script":{
"lang":"painless",
"inline":"ctx._source.remove(\"msgcode\")"
}
}

示例圖:

在這裏插入圖片描述

查詢語句

查詢全部

match_all能夠查詢集羣全部索引庫的信息，包括一些隱藏索性庫的信息。
命令示例:

GET _search
{   
  "query": {
    "match_all": {}
  }
}

示例圖:
在這裏插入圖片描述

查詢索引庫全部的數據，命令格式爲GET 索引庫名稱/索引庫類型/_search，也能夠不須要索引庫類型。

命令示例:

GET  test1/_doc/_search

若是根據ID查詢某一條數據的話，也比較簡單，只須要將上述的_search換成主鍵ID便可。
命令示例:

GET  test1/_doc/2

等值（term）查詢

term主要用於精確匹配哪些值，好比數字，日期，布爾值或 not_analyzed 的字符串(未經分析的文本數據類型)

好比根據手機號進行查詢。
命令示例:

GET  test1/_doc/_search
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  }
}

固然，若是想在一個字段匹配多個值的話，可使用terms，至關於SQL的in語法。

命令示例:

GET  test1/_doc/_search
{
  "query": {
    "terms": {
       "uid": [ 
        1234, 
        12345, 
        123456
      ] 
    }
  }
}

示例圖:
在這裏插入圖片描述
注：上述中是沒有123456這條數據，這樣只是爲了作下簡單的測試而已。

範圍（range ）查詢

range能夠理解爲SQL中的><符號，其中gt是大於，lt是小於，gte是大於等於，lte是小於等於。

命令示例:

GET  test1/_doc/_search
{
  "query": {
   "range": { 
      "uid": { 
        "gt": 1234,
        "lte": 12345
      } 
    } 
  }
}

在這裏插入圖片描述

存在(exists)查詢

exists能夠理解爲SQL中的exists函數，就是判斷是否存在該字段。

這裏咱們新增一條沒有msgcode的字段，而後用exists去查詢。

POST test1/_doc/3
{
    "uid" : "123456",
    "phone" : "12345678909",
    "message" : "qq",
    "sendtime" : "2019-03-14 01:57:04"
}

存在查詢命令示例:

GET  test1/_doc/_search
{
  "query": {
   "exists": { 
       "field":"msgcode" 
    } 
  }
}

示例圖:


在這裏插入圖片描述

組合(bool)查詢

bool 能夠用來合併多個過濾條件查詢結果的布爾邏輯，它包含這以下幾個操做符:

  • must : 多個查詢條件的徹底匹配,至關於 and。
  • must_not ::多個查詢條件的相反匹配，至關於 not。
  • should : 至少有一個查詢條件匹配, 至關於 or。

查詢的命令示例:

GET /test1/_search
{
  "query": {
    "bool": {
      "must": {
        "term": {
          "phone": "12345678909"
        }
      },
      "must_not": {
        "term": {
          "uid": 12345
        }
      },
      "should": [
        {
          "term": {
            "uid": 1234
          }
        },
        {
          "term": {
            "uid": 123456
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  }
}

示例圖:
在這裏插入圖片描述

模糊(wildcard)查詢

wildcard查詢至關於SQL語句中的like語法，只不過它查詢的數據須要加上*符號。

模糊查詢命令示例:

GET /test1/_search
{
  "query": {
   "wildcard": { 
       "message":"*wu*" 
    } 
  }
}

在這裏插入圖片描述

正則(regexp)查詢

regexp能夠支持正則查詢，好比查詢短信內容中的驗證碼之類的。

下面的這個示例就是查詢以xu開頭，後面是0-9數字的內容的數據。

正則查詢命令示例:

GET /test1/_search
{
  "query": {
   "regexp": { 
       "message":"xu[0-9]" 
    } 
  }
}

示例圖:

在這裏插入圖片描述

查詢語句的示例到這裏就差很少就結束了，這裏在推薦一下kinaba查詢的幾個小技巧，如圖所示：
在這裏插入圖片描述

其它

參考：
https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

ElasticSearch我的已經使用一年多了，在學習的過程當中也積攢了一些相關資料其，只不過今年特別忙，沒有太多時間將其整理成博客進行分享了。說來慚愧，今年寫博客的數量有些少了，下半年本身從一個周更博主變成了月更博主了，不事後面如果時間充足的話也會多些一些的，再忙每月至少也會寫一篇 ヾ(◍°∇°◍)ﾉﾞ

ElasticSearch實戰系列:
ElasticSearch實戰系列一: ElasticSearch集羣+Kinaba安裝教程

音樂推薦

原創不易，若是感受不錯，但願給個推薦！您的支持是我寫做的最大動力！
版權聲明:
做者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm　　　　
我的博客出處：http://www.panchengming.com

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程