超強幹貨！經過filebeat、logstash、rsyslog 幾種方式採集 nginx 日誌

因爲nginx功能強大，性能突出，愈來愈多的web應用採用nginx做爲http和反向代理的web服務器。而nginx的訪問日誌不論是作用戶行爲分析仍是安全分析都是很是重要的數據源之一。如何有效便捷的採集nginx的日誌進行有效的分析成爲你們關注的問題。

本文經過幾個實例來介紹如何經過filebeat、logstash、rsyslog採集nginx的訪問日誌和錯誤日誌。
你們都知道ELK技術棧是採集、分析日誌的利器。因此這裏介紹的是從nginx採集日誌到ES。固然至於日誌採集之後存到看你們的須要。經過logstash能夠方便的配置日誌輸出存儲的方式。
通常來講nginx默認安裝後，日誌文件在 /usr/local/nginx/logs 目錄下。分別有 access.log和error.log 訪問日誌和錯誤日誌。
此次示例Elasitcsearch是三個節點組成的集羣172.28.65.2二、172.28.65.2三、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是數據採集服務器，上面裝有logstash、nginx、 filebeat。通常來講採集服務器上有logstash，而nginx、 filebeat應該是裝在採集目標上。

1、直接經過filebeat採集日誌到ES

在filebeat的安裝目錄找到filebeat.yml 配置獲取日誌文件的路徑及輸出到ES的配置。
具體：

- type: log
# Change to true to enable this input configuration.
  enabled: true
# Paths that should be crawled and fetched. Glob based paths.
  paths:
#- /var/log/*.log
    - /usr/local/nginx/logs/*.log
#- c:\programdata\elasticsearch\logs\*

若是須要在kibana中友好顯示的化，可進行kibana配置
輸出到es中，在hosts中配置好你的ES服務地址。若是單機只有一個節點，就能夠只配一個ip和端口。
啓動filebeat 進行日誌數據採集

./filebeat -e -c filebeat.yml -d "publish"

經過elasticsearch-head插件查看es索引中的日誌信息

能夠看到nginx中的access.log和error.log的日誌都已經上來了。

在kibana中經過filebeat-*過濾看filebeat的索引，能夠看到經過filebeat採過來的數據。

這種直接經過filebeat直接對接ES採日誌的方式簡單直接，可是沒法對採集的日誌進行預處理和其餘一些操做，也不夠靈活。
能夠在filebeat 和 ES之間加一層Logstash，能夠將filebeat於ES解耦，經過Logstash能夠作一些預處理，也能夠經過Logstash採集到除ES之外的其餘數據存儲上。

2、經過filebeat採集日誌到logstash再送到ES

首先得安裝 logstash ，安裝完後在logstash的安裝目錄下新建vi filebeat-pipeline.conf，filebeat-pipeline.conf的具體配置以下：

input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch { hosts => ["172.28.65.24:9200"] }
    stdout { codec => rubydebug}
}

input配置表示經過5044端口接收beats的數據。 output配置表示輸出到elasticsearch，而且同時輸出到標準輸出也就是控制檯。 而後經過命令

bin/logstash -f filebeat-pipeline.conf --config.reload.automatic

應用filebeat-pipeline.conf啓動logstash。

啓動之後能夠看到logstash的啓動日誌5044端口的服務已經起了，能夠接受經過filebeat經過5044端口傳過來的數據了。

接下來配置filebeat：

在filebeat的安裝目錄找到filebeat.yml 配置獲取日誌文件的路徑及輸出到logstash的配置。不直接輸出到ES了。

具體配置以下：

將output.elasticsearch的配置屏蔽，配置output.logstash，配置正確的logstash的服務主機和端口。

啓動filebeat 進行日誌數據採集

./filebeat -e -c filebeat.yml -d "publish"

咱們訪問nginx服務提供的web服務http://172.28.65.32/， 在logstash的控制檯 能夠看到相應的訪問access.log 日誌
同時在ES 中也能夠看到有相應的日誌數據

3、直接經過rsyslog採集日誌到logstash在送到ES

在不少狀況下你須要採集的web服務器並非本身可以控制的，不是說你想裝filebeat就可讓你裝的，這時候就能夠要求目標數據源經過 syslog 的方式將日誌發出來。咱們能夠再經過 logstash送到ES或其餘的日誌存儲處理平臺。

經過syslog往日誌服務器上發nginx的日誌有兩種方式，一種就是利用nginx的配置往外發日誌，一種就是經過配置linux的rsyslog的配置往外發日誌。

一、經過nginx配置發送syslog到logstash

具體配置以下：

在nginx的配置文件nginx.conf中，在server下配置access_log和error_log的輸出方式

access_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_access_log,severity=info;

error_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_error_log,severity=info;

配置完成後執行 ./nginx -s reload 使配置生效。這樣就經過linux的rsyslog服務將nginx的日誌往外發了。

接着來配置logstash的syslog的服務接收配置 。在logstash的安裝目錄下新建vi syslog-pipeline.conf，syslog-pipeline.conf的具體配置以下：

input {
    syslog{
        type => "system-syslog"
        port => 514
    }
}
output {
    elasticsearch {
        hosts => ["172.28.65.24:9200"]
        index => "system-syslog-%{+YYYY.MM}"
    }
    stdout { codec => rubydebug}
}

input配置表示經過514端口接收syslog的數據。

output配置表示輸出到elasticsearch，而且同時輸出到標準輸出也就是控制檯。 經過執行 bin/logstash -f syslog-pipeline.conf --config.reload.automatic 啓動logstash

能夠看到logstash啓動之後開啓了514端口的tcp和upd協議的偵聽。

咱們訪問nginx服務提供的web服務http://172.28.65.32/，在logstash的控制檯 能夠看到相應的nginx訪問access和error的日誌

一樣經過Elasticsearch-head在ES 中也能夠看到有相應的日誌數據

二、經過配置rsyslog發送syslog日誌到logstash

有些老版本的nginx不支持配置syslog輸出日誌，或者說我想輸出其餘不是nginx的日誌該怎麼辦呢？能夠經過直接配置rsyslog的方式來往外發送日誌。

在/etc/rsyslog.conf 中配置：

$IncludeConfig /etc/rsyslog.d/*.conf

意思是能夠引用外部的配置文件，引用外部的配置文件一方面能夠不影響主配置文件，另外一方面也比較好管理。

在/etc/rsyslog.d目錄下新建nginx-log.conf， 配置以下：

$ModLoad imfile
$InputFilePollInterval 1
$WorkDirectory /var/spool/rsyslog
$PrivDropToGroup adm

##Nginx訪問日誌文件路徑，根據實際狀況修改:
$InputFileName /usr/local/nginx/logs/access.log
$InputFileTag nginx-access:
$InputFileStateFile stat-nginx-access
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor

##Nginx錯誤日誌文件路徑，根據實際狀況修改:
$InputFileName /usr/local/nginx/logs/error.log
$InputFileTag nginx-error:
$InputFileStateFile stat-nginx-error
$InputFileSeverity error
$InputFilePersistStateInterval 25000
$InputRunFileMonitor

*.* @172.28.65:514

配置好了之後，重啓rsyslog服務。

systemctl restart rsyslog

咱們訪問nginx服務提供的web服務http://172.28.65.32/， 在logstash的控制檯 能夠看到一樣的效果。 本文介紹瞭如何經過filebeat、logstash、rsyslog採集nginx的訪問日誌和錯誤日誌的幾種方式，具體須要根據實際狀況靈活的運用。