Logstash：多個配置文件（conf）apache

對於多個配置的處理方法，有多個處理方法：json

多個pipeline
一個pipleline處理多個配置文件

一個pipeline含有一個邏輯的數據流，它從input接收數據，並把它們傳入到隊列裏，通過worker的處理，最後輸出到output。這個output能夠是Elasticsearch或其它。下面針對這兩種狀況，來分別進行描述。ruby

多個pipeline

cat apache.conf
 

    input {
      file {
        path => "/Users/liuxg/data/multi-input/apache.log"
      	start_position => "beginning"
        sincedb_path => "/dev/null"
        # ignore_older => 100000
        type => "apache"
      }
    }
     
    filter {
      	grok {
        	match => {
          		"message" => '%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}'
        	}
      	}
    }
     
     
    output {
    	stdout {
    		codec => rubydebug
    	}
     
      	elasticsearch {
        	index => "apache_log"
        	template => "/Users/liuxg/data/apache_template.json"
        	template_name => "apache_elastic_example"
        	template_overwrite => true
      }	
    }

# cat daily.conf

    input {
      file {
        path => "/Users/liuxg/data/multi-pipeline/apache-daily-access.log"
      	start_position => "beginning"
        sincedb_path => "/dev/null"
        type => "daily"
      }
    }
     
    filter {
      	grok {
        	match => {
          		"message" => '%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}'
        	}
      	}
    }
     
     
    output {
    	stdout {
    		codec => rubydebug
    	}
     
      	elasticsearch {
        	index => "apache_daily"
        	template => "/Users/liuxg/data/apache_template.json"
        	template_name => "apache_elastic_example"
        	template_overwrite => true
      }	
    }

接下來，修改pipelines.yml文件。在logstash的安裝目錄下的config文件目錄下，修改pipelines.yml文件。elasticsearch

- pipeline.id: daily
 pipeline.workers: 1
 pipeline.batch.size: 1
 path.config: "/Users/liuxg/data/multi-pipeline/daily.conf"
- pipeline.id: apache
 queue.type: persisted
 path.config: "/Users/liuxg/data/multi-pipeline/apache.conf"

在上面的配置中，把daily.conf和apache.conf分別置於兩個不一樣的pipleline中。ide

這樣操做配置已經完成了。進入到longstash的安裝目錄。咱們經過以下的命令來運行:spa

./bin/logstashdebug

在terminal中，能夠看到有兩個piple在同時運行，也能夠在Kibana中看到咱們的index結果。code

一個pipeline

一樣能夠修改位於Logstash安裝目錄下的config子目錄裏的pipleline.yml文件，並把它修改成：隊列

- pipeline.id: my_logs
 queue.type: persisted
 path.config: "/Users/liuxg/data/multi-pipeline/*.conf"

把全部位於/Users/liuxg/data/multi-pipeline/下的全部的conf文件都放於一個pipeline裏。事件

按照上面一樣的方法來運行咱們的應用：

./bin/logstash

從運行的結果中看到了兩個一樣的輸出。這是爲何呢？這是由於咱們把兩個.conf文件放於一個pipleline裏運行，那麼咱們有兩個stdout的輸出分別位於兩個.conf文件了。

在Kibana裏能夠看到咱們的最終的index數據：

咱們能夠看到在apache_log裏有20條數據，它包括兩個log文件裏全部的事件，這是由於它們都是一個pipleline。一樣咱們能夠在apache_daily看到一樣的20條數據。