上線必備 | 高性能ES5.X部署配置清單

時間 2020-08-03

標籤上線必備高性能 es5.x 部署配置清單简体版

原文原文鏈接

| 題記 |html

網上當前（截止20170914）流傳的各類配置文件普通存在如下問題： java

1）版本低，不能和當前版本5.X匹配。 node

2）5.X的配置自己較1.X，2.X就有很大不一樣，原有配置已不適用。 git

3）ES英文、中文文檔也沒有及時更新。github

如今，確保ES5.X的高性能到底須要哪些配置愈加使人神往。bootstrap

如下清單內容參考了ES官網文檔，且都是在ES5.4.0的環境中驗證過的，請放心使用。vim

清單1：瞭解ES集羣拓撲結構服務器

您須要肯定您的部署拓撲，以便作出正確的Elasticsearch配置決策。併發

當咱們啓動Elasticsearch的實例，就會啓動至少一個節點。相同集羣名的多個節點的鏈接組成一個集羣，app

在默認狀況下，集羣中的每一個節點均可以處理Http請求和集羣節點的數據傳輸。

集羣中的全部的節點都知道集羣中其餘全部的節點，能夠將客戶端請求轉發到適當的節點。
瞭解節點的類別，以下

主節點(master)：

node.master：true node.data:false

數據節點(data)：

node.master：false node.data:true

客戶端/路由節點(client)：

node.master：false node.data:false

默認狀況下，節點同時是主節點和數據節點，這適合小集羣（3個節點）；大於3個節點後，分離主節點和數據節點變得很是重要。

清單2：配置線程池

儘可能不要動線程池這個配置，若是要動，建議改成：
int（（核心數 3 ）／ 2 ）＋ 1 。
同時知足：不容許bulk和’indexing’線程池的大小大於CPU內核數。

舉例：24核處理器，檢索服務器是24核，因此：線程池的大小

=（24*3）/2+1=37，

同時要知足cpu核數爲24。37和24取最小值，應該選擇24。

默認的隊列大小是1000，
如今的問題是：併發請求數據超過了隊列最大的大小，致使出錯。

可能的解決方案：

1）、增長隊列大小；（太大了，可能會致使內存溢出）

2）、增長節點數和副本數。

隊列大小：
在elasticsearch.yml中新增以下配置（5.X已經驗證）：

Threadpool Settings

Search pool

thread_pool.search.size: 24
thread_pool.search.queue_size: 2000

#Bulk pool
thread_pool.bulk.size: 24
thread_pool.bulk.queue_size: 1000

Index pool

thread_pool.index.size: 24
thread_pool.index.queue_size: 1000

若是你的批量請求數目高於隊列大小，將會出現RemoteTransportException異常。

清單3：配置堆內存

Elasticsearch 默認安裝後設置的堆內存是 1 GB。

修改方式一：

以下環境變量修改方式，指定堆內存大小爲4g。
export ES_HEAP_SIZE=4g

修改方式二：

命令行啓動設置方式。
./bin/elasticsearch -Xmx4g -Xms4g

修改方式三：(5.x版本建議）
修改 jvm.options配置文件。

Xms represents the initial size of total heap space

Xmx represents the maximum size of total heap space

-Xms4g
-Xmx4g
確保堆內存最小值（ Xms ）與最大值（ Xmx ）的大小是相同的，防止程序在運行時改變堆內存大小，這是一個很耗系統資源的過程。

修改後查看：

[elasticsearch@4da2 bin]$ ps -ef | grep elasticsearch
root 17501 17474 0 Sep13 pts/2 00:00:00
su elasticsearch500 20389 1 17 04:31
pts/2 00:00:47 /usr/java/jdk1.8.0_91/bin/java
-Xms4g -Xmx4g -XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction=75
-XX:+UseCMSInitiatingOccupancyOnly
-XX:+DisableExplicitGC -XX:+AlwaysPreTouch
-server -Xss1m -Djava.awt.headless=true
-Dfile.encoding=UTF-8 -Djna.nosys=true
-Djdk.io.permissionsUseCanonicalPath=true
-Dio.netty.noUnsafe=true
-Dio.netty.noKeySetOptimization=true
-Dio.netty.recycler.maxCapacityPerThread=0
-Dlog4j.shutdownHookEnabled=false
-Dlog4j2.disable.jmx=true
-Dlog4j.skipJansi=true
-XX:+HeapDumpOnOutOfMemoryError
-Des.path.home=/opt/elasticsearch
-cp /opt/elasticsearch/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
注意：
最大可分配堆內存大小爲：
32GB與當前ES宿主機內存兩者的最小值。