喜聞樂見ELK(日誌管理分析系統)

@[TOC]java

#  1. 簡介node

    ELK(日誌管理分析系統),一款能將系統的日誌進行分析處理,而且展現到界面上面。集各類強大功能於一身。媽媽不再用擔憂我爲查日誌感到煩惱了。 ELK核心的組件是由elasticsearch、kibana、logstash組成且不只限於該三個組件。最舒服的就是,該三個組件開源,且封裝ok,只須要開箱即用。好了,廢話很少說,咱們開始正片。linux

    第一次寫博客哈。有些不對的地方你們多多指出,但願能不吝賜教了哈。 nginx

# 2. 須要的材料以及環境windows

    java8及以上版本(由於logstash最低版本要求爲java8)centos

    win10/centos7系統(如下配置基於win10)跨域

    elasticsearch、kibana、logstash(記住,這三個組件下載的時候 版本保持一致)瀏覽器

    elasticsearch-head(一款瀏覽器插件,能夠不使用,若是不使用能夠忽略如下材料)ruby

    nodejs服務器

# 3. 安裝以及配置

    當咱們下載好以上三個組件事後,首先解壓咱們的三個壓縮包

    

    第一步,配置咱們的elasticsearch,進入elasticsearch-7.9.3\config用本身喜好的文本編輯器打開elasticsearch.yml文件

    node.name: node-1

    network.host: 本機ip

    http.port: 9200

    cluster.initial_master_nodes: ["node-1"] #node-1

    --------------------------------------------------------如下配置主要解決後面logstash的跨域問題----------------------------------------------

    http.cors.enabled: true
    http.cors.allow-origin: /.*/
    http.cors.allow-methods: "OPTIONS, HEAD, GET, POST, PUT, DELETE"
    http.cors.allow-headers: "Authorization, X-Requested-With, Content-Type, Content-Length, X-User"


    好了,到這裏咱們的elasticsearch就已經配置完成,讓咱們運行下,看看效果。

    cd  D:\ELK\elasticsearch-7.9.3\bin   而後  elasticsearch.bat

    或者直接進入bin目錄,雙擊elasticsearch.bat,而後在瀏覽器中輸入:ip:9200,出現如下信息則說明已經es配置成功

    第二步,配置咱們的logstash,進入logstash-7.9.3\config用本身喜好的文本編輯器建立一個新的logstash.config文件,是新的新的新的,裏面的內容以下:

    input {
        file {
            type => "nginx_access"
            path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access.log"  #須要解析的日誌,換成你本身的路徑
            start_position => "beginning" #從文件開始處讀寫
        }
        file {
            type => "nginx_access1"
            path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access1.log"  #須要解析的日誌,換成你本身的路徑
            start_position => "beginning" #從文件開始處讀寫
        }
    }
    filter {
        grok {
            match => ["message", "%{TIMESTAMP_ISO8601:times}"]
        }
        date {
            match => ["times", "yyyy-MM-dd HH:mm:ss,SSS"]
            locale => "en"
            timezone => "+00:00"
            remove_field => "times"
            target => "@timestamp"
        }
 
        if[type] == "nginx_access" {
            mutate {
                add_tag => ["nginx_access"]  #設置tag
            }
        }
 
        if [type] == "nginx_access1" {
            mutate {
                add_tag => ["nginx_access1"]  #設置tag
            }
        } 
    }
    output {
        if "nginx_access" in [tags] {  #根據上面的tag來判斷輸出
            elasticsearch {
                hosts => ["http://es的ip:9200"]  #es的地址
                index => "access-%{+YYYY.MM.dd}"  # 輸出的日誌名稱,好像大寫有問題,你們能夠試試
            }    
        }
 
        if "nginx_access1" in [tags] {  #根據上面的tag來判斷輸出
            elasticsearch {
                hosts => ["http://es的ip:9200"] #es的地址
                index => "logaccess1-%{+YYYY.MM.dd}"  # 輸出的日誌名稱,好像大寫有問題,你們能夠試試
            }    
        }           
        stdout { #標準輸出
            codec => rubydebug{}
        }
    }




















































    好了,到這裏咱們的logstash就已經配置完成,讓咱們運行下,看看效果。

    cd D:\ELK\logstash-7.9.3\bin  而後  logstash.bat -f ../config/logstash.config  。或者你們能夠本身把啓動語句用一個bat腳本封裝起來,到時候只須要執行你那個封裝的腳本便可。在控制檯出現如下效果,證實啓動成功。切記須要java8以上的java版本。

    那若是咱們不少生產環境已經用的java8如下的版本該怎麼辦呢?用咱們記事本打開logstash的bin目錄下的logstash.bat,linux系統打開logstash文件,在文件頂部加上

    export JAVA_CMD="/eam_app/elk/jdk1.8.0_161/bin"  #改成本身服務器JDK位置
    export JAVA_HOME="/eam_app/elk/jdk1.8.0_161/"    #改成本身服務器JDK位置

    最後讓咱們來修改下咱們的監聽的日誌文件,看下logstash控制檯有何變化?

    敲黑板敲黑板,這裏有個小坑,若是咱們最後一行不留空,那麼最後一行的信息是不會輸入到咱們的logstash裏面的。爲何會這樣的, 留個小夥伴們一個小疑問,本身去想一想。

    第三步,配置咱們的kibana,進入kibana-7.9.3\config用本身喜好的文本編輯器打開kibana.yml文件,

    server.port: 5601   #端口

    server.host: IP地址

    elasticsearch.hosts: ["http://es的ip地址:9200"]

    保存,至此咱們的kibana就配置完成了,是否是很簡單,哦呵呵呵!!!!

    趕忙運行起來,老規矩:

    cd D:\ELK\kibana-7.9.3-windows-x86_64\bin  而後  kibana.bat  或者本身手動雙擊kibana.bat,最後在咱們的瀏覽器中輸入kibana.yml中的server.host:server.port

    點擊上面的進行如下操做

    最後咱們點擊界面左上角

    會出現如下界面,這是個時候咱們的日誌就已經展現出來了,以下圖:

    至此爲止咱們的windows環境EKL日誌監控分析系統就已經搭建完成

# 4. 總結

    我的以爲ELK仍是比較好用的,擺脫咱們去服務器拉日誌查日誌的苦惱,固然可能小夥伴有其餘更好的方式,我這裏只是列舉了一個例子,但願能拋磚引玉了哈。感謝各位大大的閱讀支持!!!

    碼字不易,如需轉載請標明轉處。  

相關文章
相關標籤/搜索