ELK用於分佈式收集,而後elasticsearch用於分析數據,在Kibana中能夠查看數據、報表。
目前公司日誌數據量暫時不使用elasticsearch集羣,只是用的elasticsearch單機模式。vim
機器環境
如下軟件都是基於5.6
elasticsearch+Kibana:172.16.88.56
logstash:172.16.88.99bash
在每臺機器上執行以下操做:服務器
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
vim /etc/yum.repos.d/logstash.repoelasticsearch
[logstash-5.x] name=Elastic repository for 5.x packages baseurl=https://artifacts.elastic.co/packages/5.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md
172.16.88.56安裝elasticsearch Kibana分佈式
yum install -y elasticsearch kibana
配置 elasticsearch
kibana
對應的配置文件性能
elasticsearch:/etc/elasticsearch/elasticsearch.yml kibana:/etc/kibana/kibana.yml
其中:搜索引擎
network.host: 172.16.88.56 #服務器IP http.port: 9200 #對應的端口 path.data: /home/elasticsearch
network.host 服務器IP。
http.port 對應的端口。
path.data 數據保存的位置。
若是改這個data須要把/var/lib/elasticsearch/* 複製到/home/elasticsearch 目錄下
同時注意/home/elasticsearch的權限 elasticsearch:elasticsearch
不然會報錯url
server.port: 5601 server.host: "172.16.88.56" elasticsearch.url: "http://172.16.88.56:9200"
指定服務器地址與kibana可訪問的接口以及搜索引擎的地址與接口調試
service elasticsearch start chkconfig elasticsearch on service kibana on chkconfig kibana on
172.16.88.99
安裝 logstash
日誌
yum install -y logstash
配置 logstash
對應的配置文件
logstash:/etc/logstash/logstash.yml
172.16.88.99安裝logstash
pipeline.workers: 4 pipeline.output.workers: 2 pipeline.batch.size: 1024
修改的logstash工做進程數與輸出的進程數,以及批處理的數量,依照服務器性能以及filebeat端是否報錯進行相應的報錯,
若是過小 filebeat老是報超時。
其餘的配置好比 鏈接elasticsearch在後邊進行說明。
調試模式下執行:
/usr/share/logstash/bin/logstash --config.reload.automatic -f /etc/logstash/conf.d #不用中止服務,自動加載配置文件
生產環境:
service logstash start chkconfig logstash on