【原】無腦操做：ElasticSearch學習筆記（01）

時間 2019-12-06

原文原文鏈接

開篇來自於經典的「保安的哲學三問」（你是誰，在哪兒，要幹嗎）java

問題1、ElasticSearch是什麼？有什麼用處？node

答：截至2018年12月28日，從ElasticSearch官網（https://www.elastic.co/cn/products）上，得知：ElasticSearch是基於 JSON 的分佈式搜索和分析引擎，專爲實現水平擴展、高可靠性和管理便捷性而設計。用於搜索、分析和存儲您的數據。chrome

問題2、ElasticSearch的由來？數據庫

答：大約在2010年，一個叫Shay Banon的待業工程師跟隨他的新婚妻子來到倫敦，他的妻子想在倫敦學習作一名廚師。而他在倫敦尋找工做的期間，接觸到了Lucene的早期版本，他想爲本身的妻子開發一個方便搜索菜譜的應用。直接使用Lucene構建搜索會有不少的坑以及重複性的工做，因此Shay便在Lucene的基礎上不斷進行抽象來讓Java程序嵌入搜索變得更容易一些，通過一段時間的打磨，就誕生了他的第一個開源做品，他給本身的這個做品起了個名字，叫「Compass」，中文即「指南針」的意思。以後，Shay找到了一份新工做，新工做是處在一個高性能分佈式的開發環境中。他在工做中漸漸發現，愈來愈須要一個易用的高性能、實時、分佈式搜索服務，因而他決定重寫Compass，將它從一個庫打形成了一個獨立的server，並將其更名爲Elasticsearch。Elasticsearch發佈的第一個版本是在2010年的二月份，從那以後，Elasticsearch便成了Github上最受人矚目的項目之一，而且很快就有超過300名開發者加入進來貢獻了本身的代碼。後來Shay和另外一位合夥人成立了公司專一打造Elasticsearch，他們對Elasticsearch進行了一些商業化的包裝和支持。可是，Elasticsearch承諾，永遠都將是開源而且免費的。不過悲劇的是，Shay承諾爲妻子開發的菜譜搜索應用，到如今還沒作出來……（劃重點：ElasticSearch基於Lucene）api

問題3、ElasticSearch有什麼功能？有什麼優點？瀏覽器

答：截至2018年12月28日，從ElasticSearch官網（https://www.elastic.co/cn/products/elasticsearch）上，得知：Elasticsearch 是一個分佈式、Restful風格的搜索和數據分析引擎，可以解決不斷涌現出的各類用例。做爲 Elastic Stack 的核心，它集中存儲您的數據，幫助您發現意料之中以及意料以外的狀況。具有存儲、查詢和分析功能。具有速度、可擴展性、彈性、靈活性、操做友好、客戶端庫豐富等優點，是開源的、分佈式、基於 Restful API、支持 PB 甚至更高數量級的搜索引擎工具。服務器

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------數據結構

一、ElasticSearch的安裝及結構運維

ElasticSearch支持Windows安裝，直接到官網的下載頁面（https://www.elastic.co/cn/downloads/elasticsearch）下載便可。elasticsearch

注意，若是使用ELK全家桶，官方建議ElasticSearch、Logstash、Kibana三個產品選擇同一版本號。截至2018年12月28日，ElasticSearch的最新版本是6.5.4。本篇筆記使用的是6.5.0。下載後放在D:\ELK目錄下。

bin：elasticsearch的啓動腳本等
config：配置文件目錄
data：當前節點的分片數據
lib：運行依賴的jar包
logs：日誌文件目錄
modules：模塊庫
plugins：插件目錄

二、ElasticSearch的運行

Windows版本的Elasticsearch運行仍是很簡單的，直接在bin目錄下，找到elasticsearch.bat這個批處理文件，雙擊運行就能夠了。固然也能夠經過命令行窗口進入到該目錄下，輸入elasticsearch回車進行執行。

出現以下信息說明Elasticsearch已經啓動起來了，而且運行在本機的9200端口上。

在瀏覽器的地址欄中輸入：localhost:9200，若是能看到以下信息，說明啓動成功

{
  "name" : "HanF71F",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "kYp2rOofTwWN1-kj7Qjw_A",
  "version" : {
    "number" : "6.5.0",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "816e6f6",
    "build_date" : "2018-11-09T18:58:36.352602Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

cluster_name: ElasticSearch配置的集羣名稱，默認是elasticsearch，es服務會經過廣播方式自動鏈接在同一網段下的es服務，經過多播方式進行通訊，同一網段下能夠有多個集羣，經過集羣名稱這個屬性來區分不一樣的集羣。

cluster_uuid：ElasticSearch配置的集羣惟一編號
build_flavor：編譯特色
lucene_version：ElasticSearch基於lucene的，lucene的版本號

三、ElasticSearch的工具

① 結合Chrome瀏覽器的ElasticSearchHead插件使用

下載名爲chromeFOR.COM_elasticsearch-head_v0.1.3.crx的Chrome插件，安裝後，在Chrome瀏覽器的右上角點擊Elastic Search Head這個圖標便可使用

② 結合Kibana工具使用

我的以爲Kibana是和ElasticSearch結合是很好的，畢竟都是一家的產品。Windows下的Kibana使用也很簡單，直接下載同ElasticSearch同樣版本的Kibana（https://www.elastic.co/downloads/kibana）

直接在bin目錄下，找到kibana.bat這個批處理文件，雙擊運行就能夠了。固然也能夠經過命令行窗口進入到該目錄下，輸入kibana回車進行執行。

出現以下信息說明Kibana已經啓動起來了，而且運行在本機的5601端口上。

在瀏覽器的地址欄中輸入：localhost:5601，若是能看到以下信息，說明Kibana啓動成功。

四、 ElasticSearch的基本術語

將ElasticSearch和關係型數據庫作一個類比

關係型數據庫	⇒	數據庫(Database)	⇒	表(Table)	⇒	行(Rows)	⇒	列(Columns)
ElasticSearch	⇒	索引(Index)	⇒	類型(Type)	⇒	文檔(Docments)	⇒	字段(Fields)

一個ElasticSearch集羣能夠包含多個索引(數據庫)，一個索引中能夠包含多個類型(表)，一個類型中能夠包含多個文檔(行)，一個文檔中能夠包含多個字段(列)。

Elasticsearch能夠理解爲是面向文檔型數據庫。數據用JSON做爲文檔序列化的格式。

① Near Realtime（NRT）：近實時的意思，表示從寫入數據到數據能夠被搜索有一個小延遲（大概1秒）；基於es執行搜索和分析能夠達到秒級。

② Cluster：集羣，包含多個節點，每一個節點屬於哪一個集羣是經過配置（集羣名稱，默認是elasticsearch）來決定的，對於中小型應用來講，開始階段經常一個集羣對應一個節點。

③ Node：節點，集羣中的一個節點，節點也有一個名稱（默認是隨機分配的），在執行運維管理操做時節點名稱很重要，默認節點會加入一個名稱爲「elasticsearch」的集羣，若是直接啓動一堆節點，那麼它們會自動組成一個elasticsearch集羣，固然一個節點也能夠組成一個elasticsearch集羣。

④ Document&field：文檔，es中的最小數據單元，一個document能夠是一條客戶數據，一條商品分類數據，一條訂單數據，一般用JSON數據結構表示，每一個index下的type中，均可以去存儲多個document。一個document裏面有多個field，每一個field就是一個數據字段。

⑤ Index：索引，包含一堆有類似結構的文檔數據，好比能夠有一個客戶索引，商品分類索引，訂單索引，索引有一個名稱。一個index包含不少document，一個index就表明了一類相似的或者相同的document。好比說創建一個product index，商品索引，裏面可能就存放了全部的商品數據，全部的商品document。

⑥ Type：類型，每一個索引裏均可以有一個或多個type，type是index中的一個邏輯數據分類，一個type下的document，都有相同的field，好比博客系統，有一個索引，能夠定義用戶數據type，博客數據type，評論數據type。

⑦ Shard：單臺機器沒法存儲大量數據，es能夠將一個索引中的數據切分爲多個shard，分佈在多臺服務器上存儲。有了shard就能夠橫向擴展，存儲更多數據，讓搜索和分析等操做分佈到多臺服務器上去執行，提高吞吐量和性能。每一個shard都是一個lucene index。

⑧ Replica：任何一個服務器隨時可能故障或宕機，此時shard可能就會丟失，所以能夠爲每一個shard建立多個replica副本。replica能夠在shard故障時提供備用服務，保證數據不丟失，多個replica還能夠提高搜索操做的吞吐量和性能。primary shard（創建索引時一次設置，不能修改，默認5個），replica shard（隨時修改數量，默認1個），默認每一個索引10個shard，5個primary shard，5個replica shard，最小的高可用配置，是2臺服務器。

五、ElasticSearch的基本使用（CRUD）

首先對Restful風格的動做有一個瞭解：GET（查詢操做），POST（新增/修改操做），PUT（修改操做），DELETE（刪除操做）

下列命令均在Kibana的DevTools中執行，DevTools中輸入關鍵字有相應的提示，很不錯。

① 檢查集羣的健康情況

GET /_cat/health?v

epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1546176515 13:28:35  elasticsearch green           1         1      1   1    0    0        0             0                  -                100.0%

② 查看集羣中全部的索引

GET /_cat/indices?v

health status index     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_1 qqZcESKyTvCWJjF7ToyUWw   1   0          1            0      5.1kb          5.1kb

③ 建立索引（可使用ElasticSearchHead插件的圖形化建立方式，也能夠手寫命令）

PUT /study_elasticsearch?pretty

#! Deprecation: the default number of shards will change from [5] to [1] in 7.0.0; if you wish to continue using the default of [5] shards, 
you must manage this on the create index request or with an index template
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "study_elasticsearch"
}

建立後再次執行查看索引的命令，能夠看到這時有兩個索引存在了。

GET /_cat/indices?v

health status index               uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_1           qqZcESKyTvCWJjF7ToyUWw   1   0          1            0      5.1kb          5.1kb
yellow open   study_elasticsearch P1yCgFQiS1Si2Nc0IlZflA   5   1          0            0      1.1kb          1.1kb

④ 刪除索引

DELETE /study_elasticsearch?pretty

{
  "acknowledged" : true
}

刪除後再次執行查看索引的命令，能夠看到這時剩一個索引存在了。

GET /_cat/indices?v

health status index     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_1 qqZcESKyTvCWJjF7ToyUWw   1   0          1            0      5.1kb          5.1kb

⑤ 新增文檔

PUT /study_elasticsearch/person/1
{
  "name" : "zhang yang",
  "age" : 21,
  "job" : "boss"
}

{
  "error": {
    "root_cause": [
      {
        "type": "cluster_block_exception",
        "reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"
      }
    ],
    "type": "cluster_block_exception",
    "reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"
  },
  "status": 403
}

從錯誤信息清晰的看到是索引只讀的提示，因此考慮放開索引的只讀設置。

PUT _settings
{
  "index": {
    "blocks": {
      "read_only_allow_delete": "false"
    }
  }
}

{
  "acknowledged" : true
}

再次嘗試新增文檔

PUT /study_elasticsearch/person/1
{
  "name" : "zhang yang",
  "age" : 21,
  "job" : "boss"
}

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

PUT /study_elasticsearch/person/2
{
  "name" : "zhang xiong jia",
  "age" : 20,
  "job" : "employee"
}

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "2",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

PUT /study_elasticsearch/person/3
{
  "name" : "wu qing qing",
  "age" : 22,
  "job" : "manager"
}

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "3",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

注意，此時的文檔版本version爲1

⑥ 查詢文檔數量

GET /study_elasticsearch/person/_count

{
  "count" : 3,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  }
}

⑦ 查詢文檔（不加任何查詢條件，本篇用的都是Search Lite API的寫法）

GET /study_elasticsearch/person/_search

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "study_elasticsearch",
        "_type" : "person",
        "_id" : "2",
        "_score" : 1.0,
        "_source" : {
          "name" : "zhang xiong jia",
          "age" : 20,
          "job" : "employee"
        }
      },
      {
        "_index" : "study_elasticsearch",
        "_type" : "person",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "name" : "zhang yang",
          "age" : 21,
          "job" : "boss"
        }
      },
      {
        "_index" : "study_elasticsearch",
        "_type" : "person",
        "_id" : "3",
        "_score" : 1.0,
        "_source" : {
          "name" : "wu qing qing",
          "age" : 22,
          "job" : "manager"
        }
      }
    ]
  }
}

注意：對某個索引（Index）下某個類型（Type）沒加任何條件的查詢，結果默認會展現出前20條文檔（Documents）

⑧ 查詢文檔（帶查詢條件，本篇用的都是Search Lite API的寫法）

直接經過id獲取文檔：

GET /study_elasticsearch/person/1

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "name" : "zhang yang",
    "age" : 21,
    "job" : "boss"
  }
}

經過查詢字段的值獲取文檔：（按age賦值22查詢，找到了吳局）

GET /study_elasticsearch/person/_search?q=age:22

{
  "took" : 10,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "study_elasticsearch",
        "_type" : "person",
        "_id" : "3",
        "_score" : 1.0,
        "_source" : {
          "name" : "wu qing qing",
          "age" : 22,
          "job" : "manager"
        }
      }
    ]
  }
}

經過查詢字段的值獲取文檔：（按name賦值zhang查詢，找到了名字中有zhang的大小張行長）

GET /study_elasticsearch/person/_search?q=name:zhang

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 0.2876821,
    "hits" : [
      {
        "_index" : "study_elasticsearch",
        "_type" : "person",
        "_id" : "2",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "zhang xiong jia",
          "age" : 20,
          "job" : "employee"
        }
      },
      {
        "_index" : "study_elasticsearch",
        "_type" : "person",
        "_id" : "1",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "zhang yang",
          "age" : 21,
          "job" : "boss"
        }
      }
    ]
  }
}

⑨ 更新文檔（替換）

PUT /study_elasticsearch/person/1
{
  "name" : "hong zi jun",
  "age" : 21,
  "job" : "CEO"
}

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

注意：此時id爲1的這條文檔的版本version變成了2，文檔的內容也變成了洪行長

GET /study_elasticsearch/person/1

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 2,
  "found" : true,
  "_source" : {
    "name" : "hong zi jun",
    "age" : 21,
    "job" : "CEO"
  }
}

這種替換的方式作更新，須要替換的內容和原先的內容字段一致，若是不一致就會用替換內容替換掉原先的內容

PUT /study_elasticsearch/person/1
{
  "name" : "ye yu",
  "gender" : "female"
}

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 3,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}

再次查詢，發現person的字段和內容均發生了變化，變成葉阿姨了。顯然，這種替換方式的缺點在於全量替換了，不想替換的也被替換了。

GET /study_elasticsearch/person/1

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 3,
  "found" : true,
  "_source" : {
    "name" : "ye yu",
    "gender" : "female"
  }
}

⑩ 更新文檔（更新）

先把id爲1的數據替換回去

PUT /study_elasticsearch/person/1
{
  "name" : "zhang yang",
  "age" : 21,
  "job" : "boss"
}

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 4,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 3,
  "_primary_term" : 1
}

GET /study_elasticsearch/person/1

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 4,
  "found" : true,
  "_source" : {
    "name" : "zhang yang",
    "age" : 21,
    "job" : "boss"
  }
}

使用POST結合_update作更新

POST /study_elasticsearch/person/1/_update
{
  "doc" : {
    "job" : "CTO"
  }
}

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 5,
  "result" : "noop",
  "_shards" : {
    "total" : 0,
    "successful" : 0,
    "failed" : 0
  }
}

再查詢一下，發現id爲1的文檔的job字段發生了改變，其餘的字段及內容沒有變化

GET /study_elasticsearch/person/1

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 5,
  "found" : true,
  "_source" : {
    "name" : "zhang yang",
    "age" : 21,
    "job" : "CTO"
  }
}

⑪ 刪除文檔

DELETE /study_elasticsearch/person/1

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "_version" : 6,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 5,
  "_primary_term" : 1
}

再查詢一下，找不到該條文檔了

GET /study_elasticsearch/person/1

{
  "_index" : "study_elasticsearch",
  "_type" : "person",
  "_id" : "1",
  "found" : false
}

若是是想刪除全部的文檔，能夠以下操做

POST /study_elasticsearch/person/_delete_by_query
{
  "query": {
    "match_all": {}
  }
}

{
  "took" : 42,
  "timed_out" : false,
  "total" : 2,
  "deleted" : 2,
  "batches" : 1,
  "version_conflicts" : 0,
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [ ]
}

再查詢一下，發現沒有數據了

GET /study_elasticsearch/person/_search

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 0,
    "max_score" : null,
    "hits" : [ ]
  }
}

至此，最簡單基本的操做就講完了，是否是特別無腦啊(*^_^*)