ES入門寶典（詳細截圖版）

本文使用版本基於elasticsearch-6.4.0

一、什麼是ES？

官網： https://www.elastic.co/products/elasticsearch 

中文官網：https://www.elastic.co/cn/products/elasticsearch

ES是一個全文檢索引擎，提到全文檢索，就要說一下如下幾個概念：

搜索：尋找想要的信息，根據關鍵字找到想要的信息。

倒排索引：反向索引，提取關鍵字創建索引，不須要所有遍歷，提升效率，減小掃描次數。

lucene，就是一個jar包 裏面有倒排索引和一些算法 能夠基於lucene api進行全文檢索的開發，api複雜。

瞭解全文檢索，能夠關注這篇文章什麼是全文檢索

ES也就是Elasticsearch又是什麼呢？

封裝lucene 提供企業級服務;

基於Apache lucene構建得開源搜索引擎;

java編寫 簡單易用得RESTFul API;

橫向擴展 支持PB級的結構化或非結構化數據處理;

ES的功能:

1）分佈式的搜索引擎和數據分析引擎。

2）全文檢索，結構化檢索，數據分析。

3）對海量數據進行近實時的處理。

應用場景：

海量數據的分析引擎;站內搜索引擎;數據倉庫。

國外：維基百科，Stack Overflow，GitHub

國內：站內搜索（電商，招聘，門戶，等等），IT系統搜索（OA，CRM，ERP，等等），數據分析（ES熱門的一個使用場景）

二、主要概念

索引index

邏輯存儲 至關於關係型數據庫的表

每一個索引有一或多個分片（shard） 每一個分片有多個副本（replica）

分片shard

單臺機器沒法存儲大量數據，es能夠將一個索引中的數據切分爲多個shard，分佈在多臺服務器上存儲。有了shard就能夠橫向擴展，存儲更多數據，讓搜索和分析等操做分佈到多臺服務器上去執行，提高吞吐量和性能。每一個shard都是一個lucene index。

副本replica

任何一個服務器隨時可能故障或宕機，此時shard可能就會丟失，所以能夠爲每一個shard建立多個replica副本。replica能夠在shard故障時提供備用服務，保證數據不丟失，多個replica還能夠提高搜索操做的吞吐量和性能。

文檔document

es中的最小數據單元，一個document能夠是一條客戶數據，一條商品分類數據，一條訂單數據，一般用JSON數據結構表示，每一個index下的type中，均可以去存儲多個document。一個document裏面有多個field，每一個field就是一個數據字段。

面向文檔存儲

（1）應用系統的數據結構都是面向對象的，複雜的
（2）對象數據存儲到數據庫中，只能拆解開來，變爲扁平的多張表，每次查詢的時候還得還原回對象格式，至關麻煩
（3）ES是面向文檔的，文檔中存儲的數據結構，與面向對象的數據結構是同樣的，基於這種文檔數據結構，es能夠提供複雜的索引，全文檢索，分析聚合等功能
（4）es的document用json數據格式來表達

映射mapping

文檔中的每一個字段根據不一樣類型作相應分析。

ES核心概念 vs. 數據庫核心概念

索引（indices）-------------Table 數據表

文檔（Document）--------Row 行

字段（Field）-------Columns 列

三、安裝部署

安裝JDK，至少1.8.0_73以上版本

win下部署ES

下載win版本

解壓 放在d盤

同步命令行啓動

C:\Users\JN>d:

D:>cd

D:\elasticsearch-6.4.0>cd bin

D:\elasticsearch-6.4.0\bin>elasticsearch.bat

kibana也是

C:\Users\JN>d:

D:>cd kibana-6.4.0-windows-x86_64

D:\kibana-6.4.0-windows-x86_64>cd bin

D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat

部署成功： 能夠經過localhost:9200訪問es

localhost:5601訪問kibana

linux下部署ES

下載linux版本ES

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz

新建 切換用戶

useradd es
passwd es
su es

解壓

tar -zxvf elasticsearch-6.4.0.tar.gz

修改配置

cd conf
vim elasticsearch.yml  es配置：集羣  日誌位置 數據位置  訪問限制等等
vim jvm.options   jvm配置

啓動

./bin/elasticsearch

9300：集羣節點間通信接口

9200：客戶端訪問接口

訪問9200能夠看見數據返回

curl localhost:9200

四、簡單Restful Api操做

網頁訪問kibana

localhost:5601 選擇 Dev Tools

基本操做

集羣健康 GET /_cat/health

1556162587 11:23:07 elasticsearch green 1 1 1 1 0 0 0 0 - 100.0%

查看索引 GET /_cat/indices?v

green open .kibana NHt9dbSkRWaom_Df6cyi6w 1 0 1 0 4kb 4kb

建立索引 PUT /test_index?pretty

刪除索引 DELETE /test_index?pretty

CRUD操做

PUT /index/type/id

{

​ 」json數據「

}

例子：

PUT /blog01/article/1
{
    "id": "1",
    "title": "elasticsearch"
    "desc":"elasticsearch"
}

PUT /blog01/article/2
{
    "id": "2,
    "title": "kibana "
    "desc":"kibana "
}

es會自動創建index和type，不須要提早建立，並且es會默認對document的每一個field都創建倒排索引，讓其能夠被搜索。

查詢 GET /blog01/article/1

修改

（替換方式） 替換必須帶全部信息
 PUT /blog01/article/1
    {
        "id": "1",
        "title": "elasticsearch"
        "desc":"elasticsearch_new"
    }
（更新方式）
POST /blog01/article/2/_update
{
    "doc": {
     "desc":"elasticsearch_new"
   }        
}

刪除 DELETE /blog01/article/1

簡單搜索

query string search

search參數http附帶

took：整個搜索請求花費了多少毫秒

timed_out：是否超時

_shards：切片

hits.total：本次搜索，返回了幾條結果
hits.max_score：本次搜索的全部結果中，最大的相關度分數是多少，每一條document對於search的相關度，越相關，_score分數越大，排位越靠前

GET /blog01/article/_search?q=desc:kibana
{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.2876821,
    "hits": [
      {
        "_index": "blog01",
        "_type": "article",
        "_id": "2",
        "_score": 0.2876821,
        "_source": {
          "id": "2",
          "title": "kibana ",
          "desc": "kibana "
        }
      }
    ]
  }
}

query DSL

Domain Specified Language

帶json請求體查詢

GET /blog01/article/_search
{
  "query": {
    "match_all": {}
  }
}

query filter

bool能夠封裝多個條件 「must」必須匹配 「filter」過濾

GET /blog01/article/_search
{
  "query" : {
        "bool" : {
            "must" : {
               "match" :{
                  "desc" : "kibana"
               }
            }   
        }
    }
}

全文檢索 full text search

會根據兩個詞 去倒排索引查找 匹配上任意一個就會返回 匹配度最高的文檔排在前面

GET /blog01/article/_search
{
  "query" : {
               "match" :{
                  "desc" : "kibana test"
               }
    }
}

短語搜索 phrase search

兩個詞必須都包含

GET /blog01/article/_search
{
  "query" : {
               "match_phrase" :{
                  "desc" : "kibana test"
               }
    }
}

高亮結果 highlight search

GET /blog01/article/_search
{
  "query" : {
               "match" :{
                  "desc" : "kibana"
               }
               
    },
    "highlight":{
                 "fields":{
                   "desc" :{}
                 }
    } 
}

更多ES，Flink，Kafka等實時計算相關博文，歡迎關注實時流式計算：

本文由博客一文多發平臺 OpenWrite 發佈！