centos7搭建ELK開源實時日誌分析系統

Elasticsearch 是個開源分佈式搜索引擎它的特色有分佈式零配置自動發現索引自動分片索引副本機制 restful 風格接口多數據源自動搜索負載等。

Logstash 是一個徹底開源的工具他能夠對你的日誌進行收集、分析並將其存儲供之後使用如搜索。

kibana 也是一個開源和免費的工具他 Kibana 能夠爲 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面能夠幫助您彙總、分析和搜索重要數據日誌。

日誌從客戶端到服務端處理後在傳遞給客戶的數據流流向以下

Logstash-forwarder--->Logstash--->Elasticsearch--->kibana--->nginx--->客戶瀏覽器

其中Logstash-forwarder是客戶端的日誌收集工具將日誌發送給服務端Logstash後Logstash經過使用grok匹配規則對日誌進行匹配切割而後保存在Elasticsearch中經過kibana從Elasticsearch中讀取數據並轉交給nginx來處理後返回給客戶。

好了下面就是ELK系統的安裝過程了。

下面是elasticsearch/logstash 所需JVM版本

首先安裝JAVA環境

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.rpm"
rpm -Uvh jdk-8u65-linux-x64.rpm

或者直接yum安裝jdk也行不過要保證安裝好對應的版本。

固然也能夠源碼安裝不過源碼安裝須要注意設置好環境變量

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.tar.gz"
tar zxvf jdk-8u65-linux-x64.tar.gz
mv jdk1.8.0_65 java
vi /etc/profile
JAVA_HOME="/usr/local/java" 
PATH=$JAVA_HOME/bin:$PATH 
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export JAVA_HOME 
export PATH 
export CLASSPATH
source /etc/profile

安裝好jdk環境以後須要安裝Elasticsearch

rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch
wget -c https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.noarch.rpm
rpm -ivh elasticsearch-1.7.2.noarch.rpm

修改配置文件以下

cd /usr/local/elasticsearch/
vim config/elasticsearch.yml
path.data: /data/db
network.host: 192.168.100.233

安裝Elasticsearch插件以下

cd /usr/share/elasticsearch/ &&  ./bin/plugin -install mobz/elasticsearch-head && ./bin/plugin -install lukas-vlcek/bigdesk/2.5.0

以後啓動Elasticsearch

systemctl start elasticsearch

而後開始安裝kibana

去https://www.elastic.co/downloads/kibana 找合適的版本每一個版本下面有這麼一行內容必定要注意這些內容Compatible with Elasticsearch 1.4.4 - 1.7

我這裏選擇的是kibana-4.1.3-linux-x64.tar.gz

wget https://download.elastic.co/kibana/kibana/kibana-4.1.3-linux-x64.tar.gz 
tar xf kibana-4.1.3-linux-x64.tar.gz
mv kibana-4.1.3-linux-x64 /usr/local/kibana
cd !$
vim config/kibana.yml 
port: 5601
host: "192.168.100.233"
elasticsearch_url: "http://192.168.100.233:9200"

配置文件中指明kibana偵聽5601端口而且經過9200端口從elasticsearch裏面獲取數據。

再安裝nginx能夠選擇源碼安裝這裏爲了圖方便就使用yum安裝了。

yum -y install nginx

vim /etc/nginx/nginx.conf

將server改爲以下

server {
        listen       80 default_server;
        listen       [::]:80 default_server;
        server_name _;
         location / {
         proxy_pass http://192.168.100.233:5601;
         proxy_http_version 1.1;
         proxy_set_header Upgrade $http_upgrade;
         proxy_set_header Connection 'upgrade';
         proxy_set_header Host $host;
         proxy_cache_bypass $http_upgrade;
            }
}

將日誌保存格式修改成以下

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
             '$status $upstream_response_time $request_time $body_bytes_sent '
             '"$http_referer" "$http_user_agent" "$http_x_forwarded_for" "$request_body" '
             '$scheme $upstream_addr';

修改日誌格式是爲了匹配後面的Logstash的grok匹配規則

啓動nginx和kibana

systemctl start nginx
nohup /usr/local/kibana/bin/kibana -l /var/log/kibana.log &

或者也能夠看看下面兩個腳本

cd /etc/init.d &&  curl -o kibana https://gist.githubusercontent.com/thisismitch/8b15ac909aed214ad04a/raw/fc5025c3fc499ad8262aff34ba7fde8c87ead7c0/kibana-4.x-init
cd /etc/default &&  curl -o kibana https://gist.githubusercontent.com/thisismitch/8b15ac909aed214ad04a/raw/fc5025c3fc499ad8262aff34ba7fde8c87ead7c0/kibana-4.x-default

關於開機啓動Kibana的。

以後就須要安裝Logstash了

rpm --import https://packages.elasticsearch.org/GPG-KEY-elasticsearch
vi /etc/yum.repos.d/logstash.repo
[logstash-1.5]
name=Logstash repository for 1.5.x packages
baseurl=http://packages.elasticsearch.org/logstash/1.5/centos
gpgcheck=1
gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
enabled=1
yum -y install logstash

這個包比較大可能國內下載起來比較慢能夠去官網使用迅雷下載比較快一點。

建立TLS證書

logstash和logstash-forwarder通訊須要使用tls證書認證。Logstash Forwarder上面只需公鑰logstash須要配置公鑰、私鑰。在logstash服務器上生成ssl證書。

建立ssl證書有兩種方式一種指定IP地址一種指定fqdn(dns)。

一、指定IP地址方式

vi /etc/pki/tls/openssl.cnf

在[ v3_ca ]下面配置subjectAltName = IP:192.168.100.233切記這條很重要由於還有一個地方也有subjectAltName配置錯了的話就會一直沒法實現認證

cd /etc/pki/tls
openssl req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

注意將-days設置大點以避免證書過時。

二、使用fqdn方式

不須要修改openssl.cnf文件。

cd /etc/pki/tls
openssl req -subj '/CN=logstash.abcde.com/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

將logstash.abcde.com換成你本身的域名。同時到域名解析那添加logstash.abcde.com的A記錄。

使用那種方式都行不過若是logstash服務端的IP地址變換了證書不可用了。

配置logstash

logstash配置文件是以json格式設置參數的配置文件位於/etc/logstash/conf.d目錄下配置包括三個部分輸入端過濾器和輸出。

首先建立一個01-lumberjack-input.conf文件設置lumberjack輸入Logstash-Forwarder使用的協議。

vi /etc/logstash/conf.d/01-lumberjack-input.conf
input {
  lumberjack {
    port => 5043
    type => "logs"
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}

再來建立一個02-nginx.conf用於過濾nginx日誌

vi /etc/logstash/conf.d/02-nginx.conf 
filter {
  if [type] == "nginx" {
    grok {
      match => { "message" => "%{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:method} %{NOTSPACE:request}(?: %{URIPROTO:proto}/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:status} (?:%{NUMBER:upstime}|-) %{NUMBER:reqtime} (?:%{NUMBER:size}|-) %{QS:referrer} %{QS:agent} %{QS:xforwardedfor} %{QS:reqbody} %{WORD:scheme} (?:%{IPV4:upstream}(:%{POSINT:port})?|-)" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    date {
        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
    }
   geoip {
        source => "clientip"
        add_tag => [ "geoip" ]
        fields => ["country_name", "country_code2","region_name", "city_name", "real_region_name", "latitude", "longitude"]
        remove_field => [ "[geoip][longitude]", "[geoip][latitude]" ]
    }
  }
}

這個過濾器會尋找被標記爲「nginx」類型Logstash-forwarder定義的的日誌嘗試使用「grok」來分析傳入的nginx日誌使之結構化和可查詢。

type要與logstash-forwarder相匹配。

同時注意將nginx日誌格式設置成上面的。

日誌格式不對grok匹配規則要重寫。

能夠經過http://grokdebug.herokuapp.com/ 在線工具進行調試。多半ELK沒數據錯誤在此處。

grok 匹配日誌不成功不要往下看了。搞對爲止先。

同時多看看http://grokdebug.herokuapp.com/patterns#   grok匹配模式對後面寫規則匹配很受益的。

最後建立一文件來定義輸出。

vi /etc/logstash/conf.d/03-lumberjack-output.conf 
output {
    if "_grokparsefailure" in [tags] {
      file { path => "/var/log/logstash/grokparsefailure-%{type}-%{+YYYY.MM.dd}.log" }
    }
    elasticsearch {
        host => "10.1.19.18"
        protocol => "http"
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
        workers => 5
        template_overwrite => true
    }
    #stdout { codec =>rubydebug }
}

定義結構化的日誌存儲到elasticsearch對於不匹配grok的日誌寫入到文件。

注意後面添加的過濾器文件名要位於01-99之間。由於logstash配置文件有順序的。

在調試時候先不將日誌存入到elasticsearch而是標準輸出以便排錯。

同時多看看日誌不少錯誤在日誌裏有體現也容易定位錯誤在哪。

在啓動logstash服務以前最好先進行配置文件檢測以下

/opt/logstash/bin/logstash --configtest -f /etc/logstash/conf.d/*
Configuration OK

也可指定文件名檢測直到OK才行。否則logstash服務器起不起來。

最後就是啓動logstash服務了。

systemctl start logstash

而後就是配置Logstash-forwarder客戶端了。

安裝logstash-forwarder

wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
rpm -ivh logstash-forwarder-0.4.0-1.x86_64.rpm

須要將在安裝logstash時候建立的ssl證書的公鑰拷貝到每臺logstash-forwarder服務器上。

scp 192.168.100.233:/etc/pki/tls/certs/logstash-forwarder.crt /etc/pki/tls/certs/

配置logstash-forwarder

vi /etc/logstash-forwarder.conf
{
  "network": {
    "servers": [ "10.1.19.18:5043" ],
    "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt",
    "timeout": 30
  },
  "files": [
    {
        "paths": [ "/alidata/logs/nginx/*-access.log" ],
        "fields": { "type": "nginx" }
    } 
  ]
}

這也是個json個是的配置文件。json格式不對logstash-forwarder服務是啓動不起來的。

後面就是啓動logstash-forwarder服務了。

當上面的全部都配置正確的話就能夠訪問kibana來查看數據了。

訪問效果以下所示