Centos7-ELK5.4.1+Filebeat安裝配置

1、簡介：
ELK爲Elasticsearch、Logstash和Kibana三個組件組成：
Elasticsearch是一款開源分佈式搜索引擎，它的特色有：分佈式、零配置、自動發現、索引自動分片、索引副本機制、restful風格接口、多數據源等。
Logstash是一款徹底開源的日誌收集、分析、存儲的軟件。其能夠對收集的日誌進行格式化處理。
Kibana能夠爲Elasticsearch和Logstash的日誌分析提供友好的web展現界面，能夠進行日誌彙總、分析和搜索等。
Filebeat是一個以logstash-forwarder的源碼爲基礎的日誌收集器，以客戶端的形式安裝在要被監控日誌的服務器上，監控日誌目錄或日誌文件(以查看文件尾的形式)，而後將日誌數據轉發給Logstash解析或者Elasticsearch創建索引。

2、下載地址：
官網地址：https://www.elastic.co/downloads
對應版本軟件下載地址：
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz
https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz

3、ELK工做原理圖

4、服務器及環境說明
一、服務器：

二、軟件說明

5、配置基礎環境
一、關閉全部服務器的防火牆及selinux
二、server-1與server-2服務器上配置JDK環境
#rpm -ivh jdk-8u131-linux-x64.rpm
三、配置系統參數
#echo "vm.max_map_count = 655360" >>/etc/sysctl.conf && sysctl –p
編輯/etc/security/limits.conf文件，新增如下內容

• soft nofile 65536
  • hard nofile 65536
  • soft nproc 65536
  • hard nproc 65536
    6、安裝部署
    一、server-1安裝elasticsearch（全部源碼包均下載至/opt）
    #cd /opt/ELK
    #tar xf elasticsearch-5.4.1.tar.gz && mv elasticsearch-5.4.1.tar.gz elasticsearch
    #cd elasticsearch/config
    Elasticsearch的配置信息
    
    新建es普通用戶啓動服務
    #useradd es
    #chown –R es.es /opt/ELK/elasticsearch
    #su es
    #cd /opt/ELK/elasticsearch
    啓動服務
    #nohup bin/elasticsearch &
    查看端口監聽狀態
    

二、server-1安裝Kibana
#cd /opt/ELK
#tar xf kibana-5.4.1-linux-x86_64.tar.gz && mv kibana-5.4.1 kibana
#cd /opt/ELK/kibana

啓動服務
#nohup bin/kibana &
在server-1上安裝nginx，配置將nginx的80端口代理至kibana監聽的5601端口上（配置忽略）
三、server-2上安裝Logstash
#cd /opt
#tar xf logstash-5.4.1.tar.gz && mv logstash-5.4.1 logstash
#cd logstash/bin

啓動服務
#nohup ./logstash –f 1.conf &
四、server-3上安裝Filebeat
#cd /opt
#tar xf filebeat-5.4.1-linux-x86_64.tar.gz && mv filebeat-5.4.1 filebeat
編輯filebeat.yml文件

啓動服務
#nohup ./filebeat &
7、測試
經過web界面訪問，建立index patterns

查看日誌

以上爲ELK的單節點部署及簡單使用，後續分享集羣部署及高級用法。