Elasticsearch 實踐二：集羣簡識

ES集羣

節點

節點(node)是一個運行着的Elasticsearch實例，一個集羣裏面有多個ES的節點，一個集羣一般會有一個主節點。

主節點的做用主要有兩個：

一是作負載均衡，將請求均勻的轉發到其餘節點上。
二是存儲其餘節點必要的信息

每一個節點都會存儲其餘節點的信息，一旦主節點宕機了，其餘的節點中會選舉一個節點當作主節點。

分片和副本

分片只是一個邏輯上的分區，用來存儲數據。

當請求到來的時候數據會先通過主節點，把數據存貯在主節點上，而後將該數據複製一份存貯在複製分片上，這樣就保證了數據有備份，即便某個ES節點宕機了，宕機ES的主分片不見了，那麼其餘的ES節點監控到有節點宕機，這是其餘節點就會把宕機ES的主分片數據得備份拿出來，從新做爲一個主分片。

咱們的主分片和複製分片是在索引建立時指定的，一旦索引建立，主分片的個數就不能修改了
由於es的路由算法跟這個主分片的個數是有關係的，你修改了主分片的個數，數據就沒法內部路由到正確位置，簡單說就是數據查詢不到了

實踐

由於咱們在window上測試，也不想麻煩弄什麼vmware等虛擬機，因此下面實踐咱們會用僞集羣的方式作部署實踐

單機的ELK的部署，可點我瞭解

部署僞集羣

下載es

# 這裏咱們部署3個節點: node1, node2, node3
# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.zip
# 解壓到x:\elk\Elasticsearch\cluster_test\elasticsearch-6.2.2-node1
# 而後咱們copy2份, 你能夠直接ctrl+C 而後更名便可
copy -r x:\elk\Elasticsearch\cluster_test\elasticsearch-6.2.2-node1 D:\elk\Elasticsearch\cluster_test\elasticsearch-6.2.2-node2
copy -r  x:\elk\Elasticsearch\cluster_test\elasticsearch-6.2.2-node1  D:\elk\Elasticsearch\cluster_test\elasticsearch-6.2.2-node3

各節點的配置es

# elasticsearch-6.2.2-nodex\config\elasticsearch.yml
cluster.name: es-cluster
# 這裏名字改爲不一樣節點的名，我這邊是node1, node2, node3
node.name: node1

network.host: 127.0.0.1
# 這裏名字改爲不一樣節點的名，我這邊是node1->9201, node2->9202, node3->9203
# 這裏名字改爲不一樣節點的名，我這邊是node1->9301, node2->9302, node3->9303
http.port: 9200
transport.tcp.port: 9301

discovery.zen.ping.unicast.hosts: ["127.0.0.1:9301", "127.0.0.1:9302", "127.0.0.1:9303"]

http.cors.enabled: true
http.cors.allow-origin: "*"

啓動測試

# node1
xx/elasticsearch-6.2.2-node1/bin/elasticsearch.bat 
# node2
xx/elasticsearch-6.2.2-node2/bin/elasticsearch.bat 
# node3
xx/elasticsearch-6.2.2-node3/bin/elasticsearch.bat

查看集羣健康

GET http://127.0.0.1:9201/_cluster/health?pretty

{
  "cluster_name" : "es-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3, //三個節點都正常啓動了
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

隨便一臺安裝head插件

# es 6.2.2版本es自帶 須要獨立安裝
安裝nodejs
下載https://github.com/coreybutler/nvm-windows 安裝
nvm install v8.9.4
# npm加速 全局安裝cnpm 指定來源淘寶鏡像
npm install -g cnpm --registry=https://registry.npm.taobao.org
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
cnpm install

修改head的端口

connect: {
            server: {
                options: {
                    port: 9101, //自行修改端口便可
                    base: '.',
                    keepalive: true
                }
            }
        }

啓動head

npm run start

建立一個索引

PUT http://localhost:9201/people
{
   "settings" : {
      "number_of_shards" : 3, //分配3個主分片
      "number_of_replicas" : 1 //分配1個副本
   }
}

# output
{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "people"
}

觀察上次操做

左邊節點：帶星的標識是主節點，其餘2個節點爲普通節點
右邊分片：邊框帶粗的是主分片，其餘都是副本

本次咱們發現咱們每一個還空了一個分片，未被利用
若是如今1個節點下線或出現故障，依然能夠正常工做
若是如今2個節點下線或出現故障，就不能正常工做

再次建立一個索引

DELETE http://localhost:9201/people
# output
{
    "acknowledged": true
}

PUT http://localhost:9201/people
{
   "settings" : {
      "number_of_shards" : 3, //分配3個主分片
      "number_of_replicas" : 2 //分配1個副本
   }
}

# output
{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "people"
}

觀察上次操做

本次咱們發現咱們每個節點都有一份完整的節點，只是帶有主節點和副本節點而已

若是如今2個節點下線或出現故障，依然能夠工做

動態調整副本

上一張咱們是經過刪除索引再建立，其實副本是能夠動態調節的，不過主分片不能調整

咱們來演示下

PUT http://localhost:9201/people/_settings
{
   "number_of_replicas" : 1
}

# output
{
    "acknowledged": true
}

# 既然操做後改回去哦 咱們就是爲了測試下說明下

插入測試

# 注意這裏的鏈接的是9201
PUT http://localhost:9201/people/table1/1
{
    "first_name" :  "Douglas",
    "last_name" :   "Fir",
    "age" :         35,
    "about":        "I like to build cabinets",
    "interests":  [ "forestry" ]
}

# 注意這裏的鏈接的是9202
POST http://localhost:9202/people/_search

# output
{
    "took": 81,
    "timed_out": false,
    "_shards": {
        "total": 3,
        "successful": 3,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 1,
        "hits": [
            {
                "_index": "people",
                "_type": "table1",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "first_name": "Douglas",
                    "last_name": "Fir",
                    "age": 35,
                    "about": "I like to build cabinets",
                    "interests": [
                        "forestry"
                    ]
                }
            }
        ]
    }
}

# 注意這裏的鏈接的是9202
PUT http://localhost:9202/people/table1/1
{
    "first_name" :  "Douglas",
    "last_name" :   "Fir",
    "age" :         35,
    "about":        "I like to build cabinets",
    "interests":  [ "music" ]
}

# output
{
    "_index": "people",
    "_type": "table1",
    "_id": "1",
    "_version": 2,
    "result": "updated",
    "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
    },
    "_seq_no": 1,
    "_primary_term": 1
}

# 注意這裏的鏈接的是9203
POST http://localhost:9203/people/_search

# output
{
    "took": 6,
    "timed_out": false,
    "_shards": {
        "total": 3,
        "successful": 3,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 1,
        "hits": [
            {
                "_index": "people",
                "_type": "table1",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "first_name": "Douglas",
                    "last_name": "Fir",
                    "age": 35,
                    "about": "I like to build cabinets",
                    "interests": [
                        "music"
                    ]
                }
            }
        ]
    }
}

操做總結

咱們能夠發送請求到集羣中的任一節點。 每一個節點都有能力處理任意請求。 每一個節點都知道集羣中任一文檔位置，因此能夠直接將請求轉發到須要的節點上。

ps: 當發送請求的時候， 爲了擴展負載，更好的作法是輪詢集羣中全部的節點。

更多關於es的路由等參考

分佈式文檔存儲
路由一個文檔到一個分片中
主分片和副本分片如何交互
新建、索引和刪除單個文檔