Elasticsearch + Kibana 集羣環境搭建

Elk 提供了完備且成熟的日誌存儲和分析的解決方案，雖然不開源，可是能夠無償使用。本文主要介紹 elasticsearch 集羣以及 kibana 的環境搭建。

Elasticsearch

Elasticsearch 能夠理解爲一個支持模糊查詢的數據庫，用來存儲日誌。

下載 Elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.tar.gz
tar -xzvf elasticsearch-6.2.3.tar.gz

修改配置文件

修改 config/elasticsearch.yml

cluster.name: rlogger       # 集羣名稱，全部節點統一一個
node.name: node-2           # 節點名稱，每一個節點一個便可
network.host: 0.0.0.0       # 綁定的地址，設置成 0.0.0.0 表示接受來自任何地址的請求
http.port: 9200
discovery.zen.ping.unicast.hosts: ["172.31.22.165", "172.31.17.241", "172.31.30.84", "172.31.18.178"]
discovery.zen.minimum_master_nodes: 3

若是須要修改 java 堆棧區大小，能夠修改 config/jvm.options

-Xms8g
-Xmx8g

啓動 elasticsearch

nohup bin/elasticsearch &

之間的 9200 端口須要互通

檢查是否生效

curl -XGET 'http://172.31.17.241:9200/_cat/nodes?pretty'

會有以下輸出

172.31.18.178 61 99 0 0.01 0.04 0.09 mdi - node-4
172.31.17.241 27 99 0 0.06 0.04 0.05 mdi - node-1
172.31.30.84  27 99 0 0.06 0.07 0.06 mdi - node-2
172.31.22.165 68 99 0 0.00 0.01 0.05 mdi * node-3

kibana

kibana 經過一個 web 界面提供日誌的檢索分析功能，還能夠繪製各類圖表，很是方便。

下載 kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.3-linux-x86_64.tar.gz
tar -xzvf kibana-6.2.3-linux-x86_64.tar.gz

修改配置文件

修改 config/kibana.yml

server.host: "0.0.0.0"      # 綁定的地址，設置成 0.0.0.0 表示接受來自任何地址的請求
elasticsearch.url: "http://localhost:9200"

因爲個人 kibana 直接部署在 elasticsearch 節點機器上，因此這裏 elasticsearch.url 配成默認的就能夠。

啓動 kibana

nohup bin/kibana &

注意開放 5601 端口。

檢查是否生效

在瀏覽器裏面訪問 http://<kibana ip>:5601便可。

到這裏 elasticsearch + kibana 集羣環境已經搭建完成了，下面這個 metricbeat 是機器基本指標的一些監控，在上面 kibana 地址的首頁就有引導。

metricbeat

metricbeat 會自動收集一些機器指標發到 elasticsearch，並在 kibana 有可視化的圖表展現。

下載 metricbeat

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.2.3-x86_64.rpm
sudo rpm -vi metricbeat-6.2.3-x86_64.rpm

修改配置文件

修改 /etc/metricbeat/metricbeat.yml

output.elasticsearch:
 hosts: ["172.31.17.241:9200", "172.31.30.84:9200", "172.31.22.165:9200", "172.31.18.178:9200"]
setup.kibana:
 host: "172.31.17.241:5601"

啓動 metricbeat

sudo metricbeat modules enable system
sudo metricbeat setup
sudo service metricbeat start

看機器狀態

如今能夠在 kibana 的 Dashboard 裏面看到 [Metricbeat System] Host overview，點進去就能夠看到 cpu 內存狀況了。

參考連接

elasticsearch 下載:
https://www.elastic.co/cn/downloads/elasticsearch
kibana 下載: https://www.elastic.co/cn/downloads/kibana

轉載
感謝做者：hatlonely
原文連接：http://t.cn/RmC4GGi