logstash使用

安裝

安裝很簡單，只須要去官網http://www.elastic.co/cn/products/logstash 下載對應版本的安裝包，解壓：
tar -zxvf logstash-5.4.3.gz
而後對logstash目錄下執行：
bin/logstash -e 'input { stdin { } } output { stdout {} }'
會出現以下界面

配置文件

logstash也能夠經過制定配置文件的形式啓動
bin/logstash -f logstash.conf
其中logstash.conf的配置文件的格式大體以下：

input {
  file {
        path => ["/root/flow/agentLog/*","/root/flow/log/*"]
        start_position => "beginning"
   }
}

filter {
    grok {
         match => [
             "message","%{TIME:time} %{WORD:module} %{NOTSPACE:thread} %{LOGLEVEL:loglevel}  %{NOTSPACE:method} %{NOTSPACE:split} (?<json_data>{[.\s\S]+})",
             "message","%{TIME:time} %{NOTSPACE:thread} %{LOGLEVEL:loglevel}  %{NOTSPACE:method} %{NOTSPACE:split} (?<json_data>{[.\s\S]+})"
         ]                               
    }
    json {
        source => "json_data"
        remove_field => ["method"]
        remove_field => ["thread"]
        remove_field => ["split"]
        remove_field => ["time"]
    }
}

output {
   #stdout {}
     elasticsearch {
        hosts => ["http://ip:port"]
        index => "flow-%{+YYYY.MM.dd}"
        #index => "logstash-test"
        #user => "elastic"
        #password => "changeme"
    }
}

• input中的file主要是指定日誌的目錄位置，可使用通配符
• filter中主要是配置日誌的篩選規則，主要使用的logstash-filter-grok插件，官網地址爲：https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html 。還有一個不錯的github：https://github.com/neal1991/articles-translator/blob/master/%E4%BD%A0%E7%9C%9F%E7%9A%84%E7%90%86%E8%A7%A3grok%E5%90%97%EF%BC%9F.md
• output中主要是配置匹配和解析後的日誌的輸出目標，一般是存儲到elasticsearch中，能夠設置es的地址，索引和type。