elk

1、ELK經典架構
Logstash部署至服務主機，對各個服務的日誌進行採集、過濾、推送。
Elasticsearch存儲Logstash傳送的結構化數據，提供給Kibana。
Kibana提供用戶web頁面進行數據展現和分析造成圖表等
因爲Logstash消耗資源大，而服務器資源至關寶貴，因此引進另外一個輕量級日誌採集框架Beats，其中有Filebeat ，Filebeat用於蒐集文件數據

2、ELK搭建（非集羣）
2.1、下載ELK（保持版本一致）
elasticsearch-6.3.0.tar  kibana-6.3.0下載 linux64位  logstash-6.3.0.tar
2.2、 配置jdk
2.3、安裝elasticsearch
建立elsearch用戶
修改系統配置文件限制   sed -i '$a\vm.max_map_count = 655360' /etc/sysctl.conf
修改安全限制配置文件   /etc/security/limits.conf    65536
重啓linux系統
啓動elasticsearch
su elsearch（必須切換用戶）  /home/elasticsearch-6.3.0/bin/elasticsearch  -d  #後臺運行
查看端口，一共兩個：端口: 9200 、9300
訪問elasticsearch    http://192.168.0.91:9200/

安裝es管理插件
安裝npm ：添加環境變量  必須重啓系統  查看版本 node -v   npm -v
安裝es的管理插件：下載 elasticsearch-head   mv elasticsearch-head /home/
下面全部操做須要進入elasticsearch-head文件目錄
安裝grunt命令行工具grunt-cli  npm install -g grunt-cli
安裝grunt及其插件  npm install grunt --save-dev
查看安裝版本狀況    grunt -version
修改head的鏈接地址爲9200：vi /home/elasticsearch-head/_site/app.js
修改服務器的監聽地址：添加hostname: 192.168.0.91, 這是grunt所在的地址
修改elasticseach的配置文件elasticsearch.yml, 修改對應的ip以及跨域的設置，
重啓es
啓動head    cd /home/elasticsearch-head/ && grunt server
在瀏覽器訪問 http://192.168.0.91:9100
瀏覽器上配置鏈接elasticsearch；查看索引

2.4、安裝kibana
修改配置文件 vi /home/kibana-6.3.0-linux-x86_64/config/kibana.yml
server.port: 5601                ##服務端口
server.host: "192.168.0.91"     ##服務器ip  本機地址
elasticsearch.url: "http://192.168.0.91:9200"    ##elasticsearch服務地址 與elasticsearch對應
啓動kibana  su elsearch && nohup /home/kibana-6.3.0-linux-x86_64/bin/kibana &   #後臺
查看kibana端口：5601
訪問kibana：http://192.168.0.91:5601
2.5、安裝logstash
新建logback-es.conf配置文件
cat> /home/logstash-6.3.0/config/logback-es.conf<<EOF
input {                                    ##input 輸入源配置
    tcp {                                  ##使用tcp輸入源      官網有詳細文檔
        port => 9601                       ##服務器監聽端口9061 接受日誌  默認ip localhost
        codec => json_lines                ##使用json解析日誌    須要安裝json解析插件
    }
} 
filter ｛                                  ##數據處理
｝                                
output {                                   ##output 數據輸出配置
        elasticsearch {                    ##使用elasticsearch接收
            hosts => "192.168.0.91:9200"   ##集羣地址  多個用，隔開,這裏不能寫localhost,不然沒法啓動
        }
        stdout { codec => rubydebug}       ##輸出到命令窗口
}
檢查配置文件是否有語法錯
/home/logstash-6.3.0/bin/logstash-f/home/logstash-6.3.0/config/logback-es.conf --config.test
安裝logstash json插件
/home/logstash-6.3.0/bin/logstash-plugin install logstash-codec-json_lines
啓動logstash ：su root
nohup /home/logstash-6.3.0/bin/logstash  -f  /home/logstash-6.3.0/config/logback-es.conf & 

2.6、elk收集tomcat中catalina.out日誌
只在logstash節點增長以下文件，重啓logstash便可：
cat >>/home/logstash-6.3.0/config/tomcat_catalina.out.conf<<EOF
input {
     file {
        path => ["/usr/local/tomcat/logs/catalina.out"]
        type => "tomcat_log"
        start_position => "beginning"