採用 Logstash 採集 tomcat access 日誌和應用程序日誌

Logstash 的安裝

Logstash 的安裝很是簡單，直接官網下載對應的版本（須要和 Elasticsearch 的版本匹配）解壓縮便可

# tar -zxvf logstash-2.3.2.tar.gz -C /usr/local/

# mv logstash-2.3.2/ logstash

測試啓動

# cd logstash/

# cd bin/

# ./logstash -e 'input { stdin { } } output { stdout {} }'

採集tomcat的access日誌

安裝tomcat而且部署示例程序war（spring-mvc-showcase.war），其中示例程序 spring-mvc-showcase.war 能夠到 spring mvc 官網下載，啓動 tomcat 而且訪問示例程序，產生部分日誌

啓動 Logstash 日誌採集

# ./bin/logstash -f ./conf-logstash/access-log.conf  # -f 後面指定的是配置文件

查看 Elasticsearch head 插件查看，發現已經自動建立了 tomcat_access index，而且導入了數據

這裏詳細介紹下 Logstash 的配置文件 /conf-logstash/access-log.conf

其內容以下

input {
    file {
        path => "/usr/local/tomcat8/logs/localhost_access_log.2016-04-30.txt"
        start_position => "beginning"
    }
}

filter {
  grok {
        patterns_dir => "/usr/local/elk/logstash-patterns"
        match => {
            "message" => "%{ACCESSLOG}"
        }
  }
}


output {
    elasticsearch {
      hosts => ["192.168.1.81","192.168.1.82","192.168.1.83"]
        index => "tomcat_access"
    }
}

一般 Logstash 的一個配置文件含 input{}，filter{}，output{} 三部分，該三部分的做用也很好理解，一個配置輸入源，一個配置過濾規則，一個配置輸出；其每一個部分又能夠配置各類不一樣的插件，全部插件的說明請參考官網文檔的說明

這裏配置的 filter grok 插件說明以下

patterns_dir => "/usr/local/elk/logstash-patterns"

指明 grok 插件使用的正則表達式存放的目錄，本次實驗該目錄下存放了一個文件 j2ee，其內容以下

JAVACLASS (?:[a-zA-Z$_][a-zA-Z$_0-9]*\.)*[a-zA-Z$_][a-zA-Z$_0-9]*
#Space is an allowed character to match special cases like 'Native Method' or 'Unknown Source'
JAVAFILE (?:[A-Za-z0-9_. -]+)
#Allow special <init> method
JAVAMETHOD (?:(<init>)|[a-zA-Z$_][a-zA-Z$_0-9]*)
#Line number is optional in special cases 'Native method' or 'Unknown source'
JAVASTACKTRACEPART %{SPACE}at %{JAVACLASS:class}\.%{JAVAMETHOD:method}\(%{JAVAFILE:file}(?::%{NUMBER:line})?\)
# Java Logs
JAVATHREAD (?:[A-Z]{2}-Processor[\d]+)
JAVACLASS (?:[a-zA-Z0-9-]+\.)+[A-Za-z0-9$]+
JAVAFILE (?:[A-Za-z0-9_.-]+)
JAVASTACKTRACEPART at %{JAVACLASS:class}\.%{WORD:method}\(%{JAVAFILE:file}:%{NUMBER:line}\)
JAVALOGMESSAGE (.*)
# MMM dd, yyyy HH:mm:ss eg: Jan 9, 2014 7:13:13 AM
CATALINA_DATESTAMP %{MONTH} %{MONTHDAY}, 20%{YEAR} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) (?:AM|PM)
# yyyy-MM-dd HH:mm:ss,SSS ZZZ eg: 2014-01-09 17:32:25,527 -0800
TOMCAT_DATESTAMP 20%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) %{ISO8601_TIMEZONE}
CATALINALOG %{CATALINA_DATESTAMP:timestamp} %{JAVACLASS:class} %{JAVALOGMESSAGE:logmessage}
# 2014-01-09 20:03:28,269 -0800 | ERROR | com.example.service.ExampleService - something compeletely unexpected happened...
TOMCATLOG %{TOMCAT_DATESTAMP:timestamp} \| %{LOGLEVEL:level} \| %{JAVACLASS:class} - %{JAVALOGMESSAGE:logmessage}

# 2016-04-10 07:19:16-|INFO|-Root WebApplicationContext: initialization started
MYTIMESTAMP 20%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}
MYLOG %{MYTIMESTAMP:mytimestamp}-\|%{LOGLEVEL:level}\|-%{JAVALOGMESSAGE:logmsg}

ACCESSIP (?:[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})
ACCESSTIMESTAMP %{MONTHDAY}\/%{MONTH}\/20%{YEAR}:%{HOUR}:%{MINUTE}:%{SECOND} %{ISO8601_TIMEZONE}
HTTPMETHOD (GET|POST|PUT|DELETE)
PRJNAME ([^\s]*)
HTTPVERSION (https?\/[0-9]{1}\.[0-9]{1})
STATUSCODE ([0-9]{3})
# 192.168.1.101 - - [10/Apr/2016:08:31:34 +0800] "GET /spring-mvc-showcase HTTP/1.1" 302 -
ACCESSLOG %{ACCESSIP:accIP}\s-\s\-\s\[%{ACCESSTIMESTAMP:accstamp}\]\s"%{HTTPMETHOD:method}\s\/%{PRJNAME:prjName}\s%{JAVALOGMESSAGE:statusCode}

        match => {
            "message" => "%{ACCESSLOG}"  # 這裏使用的 ACCESSLOG 就是在 /usr/local/elk/logstash-patterns 這個目錄下的上面這個文件中配置的
        }

Logstash 官網提供了不少能夠拿來即用的正則表達式，詳細請參考 github 項目

https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

採集 tomcat 應用程序日誌

# ./bin/logstash -f ./conf-logstash/tomcat-log.conf

conf-logstash/tomcat-log.conf 內容以下

input {
    file {
		codec => multiline {
			 pattern => "^\s"
			 what => "previous"
		}
        path => "/usr/local/tomcat8/logs/catalina.out"
        start_position => "beginning"
    }
}

filter {
  grok {
        patterns_dir => "/usr/local/elk/logstash-patterns"
        match => {
            "message" => "%{MYLOG}"
        }
        add_field => [ "log_ip", "192.168.1.81" ]
  }
 
}

output {
    elasticsearch {
      hosts => ["192.168.1.81","192.168.1.82","192.168.1.83"]
        index => "tomcat"
    }
}