日誌分析平臺ELK之日誌收集器logstash

　　前文咱們聊解了什麼是elk，elk中的elasticsearch集羣相關組件和集羣搭建以及es集羣經常使用接口的說明和使用，回顧請查看考http://www.javashuo.com/article/p-nebeblmo-mo.html；今天咱們來了解下ELK中的日誌收集器logstash；

　　logstash的工做原理相似Linux裏的rsyslog，首先logstash會有一個數據輸入源，也就是logstash去哪裏採集數據，它的採集數據來源不少，好比從文件中採集，從某個tcp/udp端口採集，從redis的消息隊列中採集，kafka啊、標準輸入等等；它和rsyslog不一樣的是，rsyslog是把日誌數據從一個地方轉到另外一個地方，中間不會去處理日誌的格式，採集回來是什麼樣就是什麼樣；而logstash不同，logstash它能夠把採集回來的日誌作格式化，以不一樣的編碼形式向外輸出；好比把nginx的日誌採集回來，它能夠以json格式輸出；同時它還能夠處理採集回來的日誌，好比忽略某些字段的輸出，把原有日誌格式作切分；把原來不是json格式的日誌，經過輸出規則轉換爲json格式的日誌；整體流程圖以下

　　提示：以上流程圖主要表示logstash採集數據和處理數據內部的一個流程；從上面的流程不難想象，logstash就是把一個數據採集回來，經過內部定義的處理規則，而後經過output規則輸出到指定地方的一個插件；

　　安裝logstash

　　logstash的運行方式有兩種，第一種以agent的方式運行在數據源所在服務器上採集數據，而後輸出到指定地方；第二種是以server方式獨立運行在一個服務器上，接受filebeat從數據源發送過來的數據，而後在輸出到其餘地方；logstash的運行以來jdk,因此首先要在運行jdk的服務器上安裝jdk;logstash的版本最好同ELK中的其餘組件版本同樣；

　　安裝jdk

yum install -y java-1.8.0-openjdk-devel

　　導出JAVA_HOME環境變量

　　下載logstash-6.8.12.rpm包

[root@node03 ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.12.rpm
--2020-10-02 15:01:14--  https://artifacts.elastic.co/downloads/logstash/logstash-6.8.12.rpm
Resolving artifacts.elastic.co (artifacts.elastic.co)... 151.101.230.222, 2a04:4e42:36::734
Connecting to artifacts.elastic.co (artifacts.elastic.co)|151.101.230.222|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 177059640 (169M) [application/octet-stream]
Saving to: ‘logstash-6.8.12.rpm’

100%[==========================================================================>] 177,059,640  136MB/s   in 1.2s   

2020-10-02 15:01:15 (136 MB/s) - ‘logstash-6.8.12.rpm’ saved [177059640/177059640]
[root@node03 ~]#

　　安裝logstash-6.8.12.rpm

[root@node03 ~]# ll
total 172912
-rw-r--r-- 1 root root 177059640 Aug 18 19:41 logstash-6.8.12.rpm
[root@node03 ~]# yum install ./logstash-6.8.12.rpm 
Loaded plugins: fastestmirror
Examining ./logstash-6.8.12.rpm: 1:logstash-6.8.12-1.noarch
Marking ./logstash-6.8.12.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package logstash.noarch 1:6.8.12-1 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

===================================================================================================================================
 Package                      Arch                       Version                        Repository                            Size
===================================================================================================================================
Installing:
 logstash                     noarch                     1:6.8.12-1                     /logstash-6.8.12                     294 M

Transaction Summary
===================================================================================================================================
Install  1 Package

Total size: 294 M
Installed size: 294 M
Is this ok [y/d/N]: y
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : 1:logstash-6.8.12-1.noarch                                                                                      1/1 
Using provided startup.options file: /etc/logstash/startup.options
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/pleaserun-0.0.31/lib/pleaserun/platform/base.rb:112: warning: constant ::Fixnum is deprecated
Successfully created system startup script for Logstash
  Verifying  : 1:logstash-6.8.12-1.noarch                                                                                      1/1 

Installed:
  logstash.noarch 1:6.8.12-1                                                                                                       

Complete!
[root@node03 ~]# 

　　提示：logstash安裝生成的文件超級多，其中主配置文件是/etc/logstash/lostash.yml，配置日誌收集規則、過濾規則、輸出規則的文件一般放在/etc/logstash/conf.d/目錄下以.conf結尾的文件；其實主配置文件基本不用動，咱們直接在/etc/logstash/conf.d/目錄下編輯日誌收集規則配置文件，而後啓動logstash便可；

　　示例：編寫配置文件，定義logstash從標準輸入收集數據，輸出到標準輸出；

[root@node03 ~]# cat /etc/logstash/conf.d/stdin-stdout.conf
input {
    stdin {}
}

output {
    stdout {}
}
[root@node03 ~]# 

　　提示：logstash數據收集配置文件格式是input {}  output{}，其中input 用來定義數據源輸入的配置，其中裏面stdin {}表示使用標準輸入插件採集數據；一樣output用於定義數據輸出的，stdout表示把input裏定義的數據採集採集到的數據輸出到output裏定義的輸出位置；以上配置就表示把標準輸入採集到數據，輸出到標準輸出；

　　檢查配置文件語法是否正確

　　提示：-f用於指定配置文件，-t表示檢查指定配置文件的語法是否正確；configuration ok表示指定配置文件語法正確；

　　驗證：啓動logstash，在標準輸入中輸入數據，看看是否會把咱們輸入的數據輸出到標準輸出呢？

　　提示：能夠看到當咱們指定logstash以/etc/logstash/conf.d/stdin-stdout.conf配置文件啓動，在標準輸入中輸入了hello world，它輸出了一個json格式的信息，其中message字段就是咱們輸入的內容；它這個默認輸出就是用的rubydebug的格式向外輸出；固然咱們能夠在輸出裏用codec來指定輸出以那種格式輸出；

　　示例：指定輸出格式用json格式輸出

　　驗證：啓動logstash，看看輸出是不是json格式呢？

　　提示：能夠看到當咱們在配置文件中指定輸出編碼是json格式之後，啓動logstash看到logstash輸出格式就是以json格式輸出了；

　　示例：配置logstash從文件中採集數據，輸出到標準輸出，輸出格式爲rubydebug

　　提示：以上配置表示從/var/log/test.log中採集數據，開始採集位置上文件最開始處，類型爲test.log，輸出以rubydebug格式輸出到標準輸出；

　　驗證：以/etc/logstash/conf.d/file-stdout.conf啓動logstash，看看完test.log中追加內容，它是否會輸出到標準輸出呢？

　　提示：如今啓動logstash，能夠看到標準輸出上沒有輸出內容，緣由是咱們指定的文件如今沒有數據，因此它沒有什麼數據採集；

　　向/var/log/test.log中追加數據，看看在標準輸出中是否會有對應的內容以咱們在配置文件中指定的格式輸出呢？

　　提示：能夠看到咱們在另一個終端向/var/log/test.log中追加數據，在標準輸出中可看到logstash把對應文件中的數據採集到，並輸出到標準輸出；

　　示例：收集httpd的日誌到es集羣中；

　　啓動logstash，而後訪問httpd，看看對應的es集羣中是否有日誌生成？

　　提示：啓動logstash之後，能夠看到對應打印的日誌，已經將咱們的配置讀取並應用了；

　　訪問httpd，而後到es上查看對應的日誌信息是否有？

　　提示：能夠看到在es集羣中有對應的index生成，而且裏面內容也是咱們訪問httpd的日誌；從上面收集的日誌來看，它是把日誌內容看成message字段一個字段輸出，一般這不是咱們想要的結果，這樣收集的日誌，對咱們來講沒有太大的意義；咱們須要讓logstash幫咱們處理，把日誌內容切分紅多個字段，而後再輸出；

　　示例：配置logstash切分日誌，而後保存到es集羣

　　提示：logstash處理日誌依賴filter插件，其中grok是filter的核心插件，它內置了不少正則表達式，對經常使用的的日誌作精準匹配；以上filter插件主要作了兩件事，第一把message字段經過內部的HTTPD_COMBINDLOG作了字段切分；第二件事，把原有的message字段刪除，避免同一數據屢次收集；

　　驗證：檢查配置文件語法，而後啓動logstash

　　啓動logstash

　　清空原有訪問日誌，而後訪問httpd

　　在es上查看收集的日誌

 

　　提示：能夠看到在es上收集到的日誌，就把message字段拆分紅不一樣的字段的json格式了；