Logstash 基礎入門

時間  2019-11-18
標籤 logstash 基礎 入門 欄目 日誌分析 简体版
原文   原文鏈接

原文地址：Logstash 基礎入門
博客地址：http://www.extlight.comhtml

image

1、前言

Logstash 是一個開源的數據收集引擎，它具備備實時數據傳輸能力。它能夠統一過濾來自不一樣源的數據，並按照開發者的制定的規範輸出到目的地。java

顧名思義，Logstash 收集數據對象就是日誌文件。因爲日誌文件來源多（如：系統日誌、服務器 日誌等），且內容雜亂，不便於人類進行觀察。所以，咱們可使用 Logstash 對日誌文件進行收集和統一過濾，變成可讀性高的內容，方便開發者或運維人員觀察，從而有效的分析系統/項目運行的性能，作好監控和預警的準備工做等。正則表達式

2、安裝

Logstash 依賴 JDK1.8 ，所以在安裝以前請確保機器已經安裝和配置好 JDK1.8。apache

Logstash 下載api

tar -zxvf logstash-5.6.3.tar.gz -C /usr

cd logstash-5.6.3

3、組成結構

Logstash 經過管道進行運做，管道有兩個必需的元素，輸入和輸出，還有一個可選的元素，過濾器。瀏覽器

輸入插件從數據源獲取數據，過濾器插件根據用戶指定的數據格式修改數據，輸出插件則將數據寫入到目的地。以下圖：tomcat

image

咱們先來一個簡單的案例：ruby

bin/logstash -e 'input { stdin { } } output { stdout {} }'

啓動 Logstash 後，再鍵入 Hello World，結果以下：服務器

[root@localhost logstash-5.6.3]# bin/logstash -e 'input { stdin { } } output { stdout {} }'
Sending Logstash's logs to /usr/logstash-5.6.3/logs which is now configured via log4j2.properties
[2017-10-27T00:17:43,438][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/usr/logstash-5.6.3/modules/fb_apache/configuration"}
[2017-10-27T00:17:43,440][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/usr/logstash-5.6.3/modules/netflow/configuration"}
[2017-10-27T00:17:43,701][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125}
[2017-10-27T00:17:43,744][INFO ][logstash.pipeline        ] Pipeline main started
The stdin plugin is now waiting for input:
[2017-10-27T00:17:43,805][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
Hello World
2017-10-27T07:17:51.034Z localhost.localdomain Hello World

Hello World（輸入）通過 Logstash 管道（過濾）變成：2017-10-27T07:17:51.034Z localhost.localdomain Hello World （輸出）。app

在生產環境中，Logstash 的管道要複雜不少，可能須要配置多個輸入、過濾器和輸出插件。

所以，須要一個配置文件管理輸入、過濾器和輸出相關的配置。配置文件內容格式以下：

#　輸入
input {
  ...
}

# 過濾器
filter {
  ...
}

# 輸出
output {
  ...
}

根據本身的需求在對應的位置配置 輸入插件、過濾器插件、輸出插件 和 編碼解碼插件 便可。

4、插件用法

在使用插件以前，咱們先了解一個概念：事件。

Logstash 每讀取一次數據的行爲叫作事件。

在 Logstach 目錄中建立一個配置文件，名爲 logstash.conf（名字任意）。

4.1 輸入插件

輸入插件容許一個特定的事件源能夠讀取到 Logstash 管道中，配置在 input {} 中，且能夠設置多個。

修改配置文件：

input {
    # 從文件讀取日誌信息
    file {
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
    }
}

# filter {
#
# }

output {
    # 標準輸出
    stdout { codec => rubydebug }
}

其中，messages 爲系統日誌。

保存文件。鍵入：

bin/logstash -f logstash.conf

在控制檯結果以下：

{
      "@version" => "1",
          "host" => "localhost.localdomain",
          "path" => "/var/log/messages",
    "@timestamp" => 2017-10-29T07:30:02.601Z,
       "message" => "Oct 29 00:30:01 localhost systemd: Starting Session 16 of user root.",
          "type" => "system"
}
......

4.2 輸出插件

輸出插件將事件數據發送到特定的目的地，配置在 output {} 中，且能夠設置多個。

修改配置文件：

input {
    # 從文件讀取日誌信息
    file {
        path => "/var/log/error.log"
        type => "error"
        start_position => "beginning"
    }
    
}

# filter {
#
# }

output {
    # 輸出到 elasticsearch
    elasticsearch {
        hosts => ["192.168.2.41:9200"]
        index => "error-%{+YYYY.MM.dd}"
    }
}

其中，error.log 的內容格式以下：

2017-08-04 13:57:30.378 [http-nio-8080-exec-1] ERROR c.g.a.global.ResponseResultAdvice -設備數據爲空
com.light.pay.common.exceptions.ValidationException: 設備數據爲空
    at com.light.pay.common.validate.Check.isTrue(Check.java:31)
    at com.light.attendance.controllers.cloudApi.DevicePushController.deviceInfoPush(DevicePushController.java:44)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
    at java.lang.Thread.run(Thread.java:745)
2017-08-04 13:57:44.495 [http-nio-8080-exec-2] ERROR c.g.a.global.ResponseResultAdvice -Failed to invoke remote method: pushData, provider: dubbo://192.168.2.100:20880/com.light.attendance.api.DevicePushApi?application=salary-custom&default.check=false&default.timeout=30000&dubbo=2.8.4&interface=com.light.attendance.api.DevicePushApi&methods=getAllDevices,getDeviceById,pushData&organization=com.light.attendance&ow
......

配置文件中使用 elasticsearch 輸出插件。輸出的日誌信息將被保存到 Elasticsearch 中，索引名稱爲 index 參數設置的格式。

若是讀者不瞭解 Elasticsearch 基礎內容，能夠查看本站 《Elasticsearch 基礎入門》 文章或自行百度進行知識的補缺。

保存文件。鍵入：

bin/logstash -f logstash.conf

打開瀏覽器訪問 http://192.168.2.41:9100 使用 head 插件查看 Elasticsearch 數據，結果以下圖：

image

踩坑提醒：
file 輸入插件默認使用 「\n」 判斷日誌中每行的邊界位置。error.log 是筆者本身編輯的錯誤日誌，以前因爲在複製粘貼日誌內容時，忘記在內容末尾換行，致使日誌數據始終沒法導入到 Elasticsearch 中。 在此，提醒各位讀者這個關鍵點。

4.3 編碼解碼插件

編碼解碼插件本質是一種流過濾器，配合輸入插件或輸出插件使用。

從上圖中，咱們發現一個問題：Java 異常日誌被拆分紅單行事件記錄到 Elasticsearch 中，這不符合開發者或運維人員的查看習慣。所以，咱們須要對日誌信息進行編碼將多行事件轉成單行事件記錄起來。

咱們須要配置 Multiline codec 插件，這個插件能夠將多行日誌信息合併成一行，做爲一個事件處理。

Logstash 默認沒有安裝該插件，須要開發者自行安裝。鍵入：

bin/logstash-plugin install logstash-codec-multiline

修改配置文件：

input {
    # 從文件讀取日誌信息
    file {
        path => "/var/log/error.log"
        type => "error"
        start_position => "beginning"
        # 使用 multiline 插件
        codec => multiline {
            # 經過正則表達式匹配，具體配置根據自身實際狀況而定
            pattern => "^\d"
            negate => true
            what => "previous"
        }
    }

}

# filter {
#
# }

output {
    # 輸出到 elasticsearch
    elasticsearch {
        hosts => ["192.168.2.41:9200"]
        index => "error-%{+YYYY.MM.dd}"
    }
}

保存文件。鍵入：

bin/logstash -f logstash.conf

使用 head 插件查看 Elasticsearch 數據，結果以下圖：

image

4.4 過濾器插件

過濾器插件位於 Logstash 管道的中間位置，對事件執行過濾處理，配置在 filter {}，且能夠配置多個。

本次測試使用 grok 插件演示，grok 插件用於過濾雜亂的內容，將其結構化，增長可讀性。

安裝：

bin/logstash-plugin install logstash-filter-grok

修改配置文件：

input {
     stdin {}
}


filter {
     grok {
       match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER
:duration}" }
     }
}


output {
     stdout {
        codec => "rubydebug"
     }
}

保存文件。鍵入：

bin/logstash -f logstash.conf

啓動成功後，咱們輸入：

55.3.244.1 GET /index.html 15824 0.043

控制檯返回：

[root@localhost logstash-5.6.3]# bin/logstash -f logstash.conf 
Sending Logstash's logs to /root/logstash-5.6.3/logs which is now configured via log4j2.properties
[2017-10-30T08:23:20,456][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/root/logstash-5.6.3/modules/fb_apache/configuration"}
[2017-10-30T08:23:20,459][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/root/logstash-5.6.3/modules/netflow/configuration"}
[2017-10-30T08:23:21,447][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125}
The stdin plugin is now waiting for input:
[2017-10-30T08:23:21,516][INFO ][logstash.pipeline        ] Pipeline main started
[2017-10-30T08:23:21,573][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
55.3.244.1 GET /index.html 15824 0.043
{
      "duration" => "0.043",
       "request" => "/index.html",
    "@timestamp" => 2017-10-30T15:23:23.912Z,
        "method" => "GET",
         "bytes" => "15824",
      "@version" => "1",
          "host" => "localhost.localdomain",
        "client" => "55.3.244.1",
       "message" => "55.3.244.1 GET /index.html 15824 0.043"
}

輸入的內容被匹配到相應的名字中。

5、參考資料

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程