ELK日誌系統搭建

資源下載地址

版本

• elasticsearch6.7.1
• logstash6.7.1
• kibana6.5.4

ElasticSearch安裝

1.修改conf/elasticsearch.yml
節點承擔着數據及master的角色，開放host。
由於服務器只剩下1G的內存，調了下jvm的參數爲512m

cluster.name: es6.7  
node.name: node-1  
node.master: true  
node.data: true   
network.host: 0.0.0.0  
複製代碼

2.啓動es 不能用root啓動es，因此新建一個用戶並分配權限

adduser es
chown -R es:es elasticsearch-6.7.1
su es
cd elasticsearch-6.7.1
./bin/elasticsearch
複製代碼

啓動出現錯誤

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

vi /etc/sysctl.conf
vm.max_map_count = 262144
sysctl -p
複製代碼

Logstash安裝

1.修改conf/logstash-simple.conf

2.啓動Logstash

cd /home/es/logstash-6.7.1/config
vim logstash-simple.conf
cd logstash-6.7.1/bin
./bin/logstash -f config/logstash-simple.conf
複製代碼

啓動後logstash讀取日誌文件，發送到es，並自動建立索引

啓動Kibana

由於是windows啓動，直接下載後點擊kibana.bat

此處可能須要修改conf目錄下的kibana.yml,將elasticsearch.url修改成你要鏈接的es地址，不然默認鏈接localhost:9200

測試

elasticsearch-head插件查看es數據（kibana其實也是能夠看的)

echo "hello" >> dru.log

向日志末尾追加文字，能夠看到logstash輸出日誌，並在es中查到

總結

這是最簡單的elk搭建方式，此處省略了logstash對日誌的解析及過濾，其最強大的地方就是過濾器filter,能夠對日誌進行格式化解析；es的索引也沒有進行優化，默認建立了5個主副分片

Logstash配置詳解
Logstash文檔