Elasticsearch集羣搭建詳解

該文轉自：https://www.cnblogs.com/liuchuanfeng/articles/7059268.html

注意：若是是在局域網中運行elasticsearch集羣也是很簡單的，只要cluster.name設置一致，而且機器在同一網段下，啓動的es會自動發現對方，組成集羣。

 

2.elasticsearch-servicewrapper

1)安裝

到github,https://github.com/elastic/elasticsearch-servicewrapper下載，把service拷貝到ES_HOME/bin目錄下。

2)使用

ES_HOME/bin/service/elasticsearch + console/start/stop...

 

Parameter	Description
console	Runthe elasticsearch in the foreground.
start	Runelasticsearch in the background.
stop	Stopselasticsearch if its running.
install	Installelasticsearch to run on system startup (init.d / service).
remove	Removeselasticsearch from system startup (init.d / service).

 

在service目錄下有個elasticsearch.conf配置文件，主要是設置一些Java運行環境參數，其中比較重要的是下面的

參數：

#es的home路徑，不用用默認值就能夠
set.default.ES_HOME=<Pathto ElasticSearch Home>

#分配給es的內存大小

set.default.ES_HEAP_SIZE=1024

#啓動等待超時時間（以秒爲單位）
wrapper.startup.timeout=300

#關閉等待超時時間（以秒爲單位）

wrapper.shutdown.timeout=300

#ping超時時間(以秒爲單位)

wrapper.ping.timeout=300

 

 

3、配置淺涉

elasticsearch的config文件夾裏面有兩個配置文件：elasticsearch.yml和logging.yml，第一個是es的基本配置文件，第二個是日誌配置文件，es也是使用log4j來記錄日誌的，因此logging.yml裏的設置按普通log4j配置文件來設置就好了。下面主要講解下elasticsearch.yml這個文件中可配置的東西。

 

cluster.name:elasticsearch
配置es的集羣名稱，默認是elasticsearch，es會自動發如今同一網段下的es，若是在同一網段下有多個集羣，就能夠用這個屬性來區分不一樣的集羣。

node.name:"FranzKafka"
節點名，默認隨機指定一個name列表中名字，該列表在es的jar包中config文件夾裏name.txt文件中，其中有不少做者添加的有趣名字。

node.master:true
指定該節點是否有資格被選舉成爲node，默認是true，es是默認集羣中的第一臺機器爲master，若是這臺機掛了就會從新選舉master。

node.data:true
指定該節點是否存儲索引數據，默認爲true。

index.number_of_shards:5
設置默認索引分片個數，默認爲5片。

index.number_of_replicas:1
設置默認索引副本個數，默認爲1個副本。

path.conf:/path/to/conf
設置配置文件的存儲路徑，默認是es根目錄下的config文件夾。

path.data:/path/to/data
設置索引數據的存儲路徑，默認是es根目錄下的data文件夾，能夠設置多個存儲路徑，用逗號隔開，例：
path.data:/path/to/data1,/path/to/data2

path.work:/path/to/work
設置臨時文件的存儲路徑，默認是es根目錄下的work文件夾。

path.logs:/path/to/logs
設置日誌文件的存儲路徑，默認是es根目錄下的logs文件夾

path.plugins:/path/to/plugins
設置插件的存放路徑，默認是es根目錄下的plugins文件夾

bootstrap.mlockall:true
設置爲true來鎖住內存。由於當jvm開始swapping時es的效率會下降，因此要保證它不swap，能夠把ES_MIN_MEM和ES_MAX_MEM兩個環境變量設置成同一個值，而且保證機器有足夠的內存分配給es。同時也要容許elasticsearch的進程能夠鎖住內存，Linux下能夠經過`ulimit-l unlimited`命令。

network.bind_host:192.168.0.1
設置綁定的ip地址，能夠是ipv4或ipv6的，默認爲0.0.0.0。

network.publish_host:192.168.0.1
設置其它節點和該節點交互的ip地址，若是不設置它會自動判斷，值必須是個真實的ip地址。

network.host:192.168.0.1
這個參數是用來同時設置bind_host和publish_host上面兩個參數。

transport.tcp.port:9300
設置節點間交互的tcp端口，默認是9300。

transport.tcp.compress:true
設置是否壓縮tcp傳輸時的數據，默認爲false，不壓縮。

http.port:9200
設置對外服務的http端口，默認爲9200。

http.max_content_length:100mb
設置內容的最大容量，默認100mb

http.enabled:false
是否使用http協議對外提供服務，默認爲true，開啓。

gateway.type:local
gateway的類型，默認爲local即爲本地文件系統，能夠設置爲本地文件系統，分佈式文件系統，Hadoop的HDFS，和amazon的s3服務器，其它文件系統的設置方法下次再詳細說。

gateway.recover_after_nodes:1
設置集羣中N個節點啓動時進行數據恢復，默認爲1。

gateway.recover_after_time:5m
設置初始化數據恢復進程的超時時間，默認是5分鐘。

gateway.expected_nodes:2
設置這個集羣中節點的數量，默認爲2，一旦這N個節點啓動，就會當即進行數據恢復。

cluster.routing.allocation.node_initial_primaries_recoveries:4
初始化數據恢復時，併發恢復線程的個數，默認爲4。

cluster.routing.allocation.node_concurrent_recoveries:2
添加刪除節點或負載均衡時併發恢復線程的個數，默認爲4。

indices.recovery.max_size_per_sec:0
設置數據恢復時限制的帶寬，如入100mb，默認爲0，即無限制。

indices.recovery.concurrent_streams:5
設置這個參數來限制從其它分片恢復數據時最大同時打開併發流的個數，默認爲5。

discovery.zen.minimum_master_nodes:1
設置這個參數來保證集羣中的節點能夠知道其它N個有master資格的節點。默認爲1，對於大的集羣來講，能夠設置大一點的值（2-4）

discovery.zen.ping.timeout:3s
設置集羣中自動發現其它節點時ping鏈接超時時間，默認爲3秒，對於比較差的網絡環境能夠高點的值來防止自動發現時出錯。

discovery.zen.ping.multicast.enabled:false
設置是否打開多播發現節點，默認是true。

discovery.zen.ping.unicast.hosts:["host1", "host2:port","host3[portX-portY]"]
設置集羣中master節點的初始列表，能夠經過這些節點來自動發現新加入集羣的節點

 

 

4、集羣配置多個節點

1.概述

本例子的集羣將部署4個節點：

10.0.0.11 es1

10.0.0.209 es2

10.0.0.206 es3

10.0.0.208 es4

 

2.集羣配置

上文提到過，只要集羣名相同，且機器處於同一局域網同一網段，es會自動去發現其餘的節點。

 

2.1es2的配置

vimES_HOME/config/elasticsearch.yml

 

在文件尾部添加一下內容：

cluster.name:elasticsearch #集羣的名稱，同一個集羣該值必須設置成相同的

node.name:"es2" #該節點的名字

node.master:true #該節點有機會成爲master節點

node.data:true #該節點能夠存儲數據

node.rack:rack2 #該節點所屬的機架

index.number_of_shards:5 #shard的數目

index.number_of_replicas:3 #數據副本的數目

network.bind_host:0.0.0.0 #設置綁定的IP地址，能夠是IPV4或者IPV6

network.publish_host:10.0.0.209 #設置其餘節點與該節點交互的IP地址

network.host:10.0.0.209 #該參數用於同時設置bind_host和publish_host

transport.tcp.port:9300 #設置節點之間交互的端口號

transport.tcp.compress:true #設置是否壓縮tcp上交互傳輸的數據

http.port:9200 #設置對外服務的http端口號

http.max_content_length:100mb #設置http內容的最大大小

http.enabled:true #是否開啓http服務對外提供服務

discovery.zen.minimum_master_nodes:2 #設置這個參數來保證集羣中的節點能夠知道其它N個有master資格的節點。默認爲1，對於大的集羣來講，能夠設置大一點的值（2-4）

discovery.zen.ping.timeout:120s #設置集羣中自動發現其餘節點時ping鏈接的超時時間

discovery.zen.ping.multicast.enabled:true #設置是否打開多播發現節點

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設置集羣中的Master節點的初始列表，能夠經過這些節點來自動發現其餘新加入集羣的節點

 

2.2es3的配置

類似地，在206的機子上

vimES_HOME/config/elasticsearch.yml

 

在文件尾部添加一下內容：

cluster.name:elasticsearch #集羣的名稱，同一個集羣該值必須設置成相同的

node.name:"es3" #該節點的名字

node.master:true #該節點有機會成爲master節點

node.data:true #該節點能夠存儲數據

node.rack:rack3 #該節點所屬的機架

index.number_of_shards:5 #shard的數目

index.number_of_replicas:3 #數據副本的數目

network.bind_host:0.0.0.0 #設置綁定的IP地址，能夠是IPV4或者IPV6

network.publish_host:10.0.0.206 #設置其餘節點與該節點交互的IP地址

network.host:10.0.0.206 #該參數用於同時設置bind_host和publish_host

transport.tcp.port:9300 #設置節點之間交互的端口號

transport.tcp.compress:true #設置是否壓縮tcp上交互傳輸的數據

http.port:9200 #設置對外服務的http端口號

http.max_content_length:100mb #設置http內容的最大大小

http.enabled:true #是否開啓http服務對外提供服務

discovery.zen.minimum_master_nodes:2 #設置這個參數來保證集羣中的節點能夠知道其它N個有master資格的節點。默認爲1，對於大的集羣來講，能夠設置大一點的值（2-4）

discovery.zen.ping.timeout:120s #設置集羣中自動發現其餘節點時ping鏈接的超時時間

discovery.zen.ping.multicast.enabled:true #設置是否打開多播發現節點

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設置集羣中的Master節點的初始列表，能夠經過這些節點來自動發現其餘新加入集羣的節點

 

2.3 208的機子上的es配置就參考上面兩個節點的

 

2.4驗證結果

啓動節點：

ES_HOME/bin/service/elasticsearchstart

 

成功啓動各個節點後，瀏覽器打開http://10.0.0.209:9200/_plugin/head/，界面會列出各個節點的信息。

 

3.節點添加和刪除

3.1添加節點很是簡單，幾乎與上面設置節點的步驟一致。

在10.0.0.11機子上，vimES_HOME/config/elasticsearch.yml

 

cluster.name:elasticsearch #集羣的名稱，同一個集羣該值必須設置成相同的

node.name:"es5" #該節點的名字

node.master:false #該節點有機會成爲master節點

node.data:true #該節點能夠存儲數據

node.rack:rack5 #該節點所屬的機架

index.number_of_shards:5 #shard的數目

index.number_of_replicas:3 #數據副本的數目

network.bind_host:0.0.0.0 #設置綁定的IP地址，能夠是IPV4或者IPV6

network.publish_host:10.0.0.11 #設置其餘節點與該節點交互的IP地址

network.host:10.0.0.11 #該參數用於同時設置bind_host和publish_host

transport.tcp.port:9300 #設置節點之間交互的端口號

transport.tcp.compress:true #設置是否壓縮tcp上交互傳輸的數據

http.port:9200 #設置對外服務的http端口號

http.max_content_length:100mb #設置http內容的最大大小

http.enabled:true #是否開啓http服務對外提供服務

discovery.zen.minimum_master_nodes:2 #設置這個參數來保證集羣中的節點能夠知道其它N個有master資格的節點。默認爲1，對於大的集羣來講，能夠設置大一點的值（2-4）

discovery.zen.ping.timeout:120s #設置集羣中自動發現其餘節點時ping鏈接的超時時間

discovery.zen.ping.multicast.enabled:true #設置是否打開多播發現節點

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設置集羣中的Master節點的初始列表，能夠經過這些節點來自動發現其餘新加入集羣的節點

 

寫好配置，啓動此es節點。

查看集羣的狀態：

• http://10.0.0.11:9200/_nodes

elasticsearch採用廣播的方式自動發現節點，須要等待一段時間才能發現新的節點：

耐心等待...最後能夠在此界面看到各個節點的信息。

 

3.2節點刪除

在想要刪除節點的機子上，運行ES_HOME/bin/service/elasticsearchstop，等待一會後，查看集羣狀態，會發現該節點沒有了。