從一份定義文件詳解ELK中Logstash插件結構

---

---

概述

當下分佈式系統的 日誌收集、日誌分析、日誌處理、可視化 的熱門技術棧方案固然非 ELK（ElasticSearch、Logstash、Kibana）莫屬，從 L → E → K 構成了一條數據的 Pipeline管道：

• Logstash：與數據源對接，用於收集、過濾處理你的日誌、事務或其餘數據
• ElasticSearch： 是一個開源的，分佈式 RESTful 搜索引擎，在 ELK中能夠初略理解爲數據存儲的地方
• Kibana：將 Elasticsearch 的數據分析並渲染爲可視化的報表，便於高效分析

並且在個人前文《利用 ELK搭建 Docker容器化應用日誌中心》之中，曾利用 ELK 搭建了一條數據管道，用做 Docker容器化應用的日誌中心。

注： 本文首發於 My 公衆號 CodeSheep ，可 長按 或 掃描 下面的 當心心 來訂閱 ↓ ↓ ↓

---

---

爲何先講Logstash

做爲與數據源 「直接對接」 的 Logstash，位置處於 ELK 數據管道的 最前端，其主要做用是 收集、過濾分析、輸出 各類結構化或者非結構化的原始數據（典型的如日誌數據），原始數據從 「無序變有序」 的重擔就落在了Logstash的肩上了，所以其做用舉足輕重。

說到Logstash，不得不說其中的 插件機制，其幾乎全部的功能都是靠插件來實現的，所以靈活易用：

• 關於 數據收集，Logstash 提供了輸入插件來支持各類不一樣的數據源
• 關於 數據分析，Logstash 則提供了過濾器插件來支持對輸入原始數據的花式處理
• 關於 數據輸出，Logstash 也提供了各類輸出插件，從而支持將結果數據輸出到各類地方，好比標準控制檯，文件，各類數據庫包括 ElasticSearch 等

---

---

Logstash的插件管理

Logstash 插件是使用 Ruby開發的，Logstash 從很早的1.5.0+版開始，其插件模塊和核心模塊便分開維護，其插件使用的是 RubyGems包管理器來管理維護。因此 Logstash插件本質上就是自包含的RubyGems。

RubyGems（簡稱 gems）是一個用於對 Ruby組件進行打包的 Ruby 打包系統。 它提供一個分發 Ruby 程序和庫的標準格式，還提供一個管理程序包安裝的工具。

能夠在網址 rubygems.org上搜索全部Logstash插件：

關於插件的經常使用操做以下：

• 安裝插件

能夠在線安裝：

bin/plugin install [插件名稱]

固然也能夠將插件提早下載到本地，而後本地安裝：

bin/plugin install path/logstash-xxx-x.x.x.gem

• 卸載插件

bin/plugin uninstall [插件名稱]

• 更新插件

bin/plugin update [插件名稱]

其會將插件更新到最新的版本

---

---

Logstash的插件定義語法結構

Logstash 插件的定義其實使用的就是一套其自定義的 DSL語法，我仍是習慣用圖來講明吧：

從圖中能夠看出主要包含如下幾大部份內容：

1. 須要的依賴

該部分通常會用require語法引入以下依賴：

require "logstash/XXX/base"
require "logstash/namespace"

• 前者引入 特定類型插件的依賴
• 後者引入 模塊命名空間

2. 類定義

須要用 class語法給每個插件定義一個類，後面我會用實際代碼說明

3. 配置插件名字

經過 config_name 語法來給插件取一個名字，這個名字將會用到 Logstash.conf 配置文件的插件配置之中

4. 配置選項設置

可使用 config 語法來按需定義任意個配置項。能夠設置配置選項的名字、數據類型、默認值以及是否爲必選項：

舉例：

config :percentage, :validate => :number, :default =>100

• :percentage：定義配置項的名字
• :validate：配置指定參數的數據類型，如此處爲 number類型
• :default：指定配置項的默認值
• :required：用於指定配置項是否必選

5. 插件方法

每一種類型的插件都須要實現一些方法，以下表所示：

插件類型	插件方法
輸入插件	register、 run
過濾器插件	register、 filter
輸出插件	register、 receive
編解碼插件	register、 encode、 decode

Logstash 插件所具有的業務處理功能就來源於上述插件方法業務邏輯實現！

好了，理論部分總結到這，下面結合一份Logstash插件定義的源碼來例析一下！

---

---

一份Logstash插件定義文件例析

咱們以 Logstash 插件的官網給出的一個 Logstash 過濾器插件 logstash-filter-example 的源碼爲例來進行分析，麻雀雖小，五臟俱全！代碼解析已經標註於圖中，再也不贅述。

固然此處的實例給出的是一個入門實例，畢竟不可能在一篇篇幅有限的文章裏給出一個太過複雜的 Logstash的插件源碼。對照該源碼和上一節的內容，我想應該不難理解Logstash的插件源碼結構了吧。

計劃後續展現一個 根據具體數據需求 來自定義開發一個知足特定需求的 Logstash插件的實例。

---

---

後記

• 做者更多的原創文章在此，歡迎觀賞

• My Personal Blog

做者更多的SpringBt實踐文章在此：

• Spring Boot Admin2.0開箱體驗
• Spring Boot應用監控實戰
• SpringBoot應用部署於外置Tomcat容器
• ElasticSearch搜索引擎在SpringBt中的實踐
• 初探Kotlin+SpringBoot聯合編程
• Spring Boot日誌框架實踐
• SpringBoot優雅編碼之：Lombok加持

---

若是有興趣，也能夠抽點時間看看做者一些關於容器化、微服務化方面的文章：

• 利用K8S技術棧打造我的私有云 連載文章
• 從一份配置清單詳解Nginx服務器配置
• Docker容器可視化監控中心搭建
• 利用ELK搭建Docker容器化應用日誌中心
• RPC框架實踐之：Apache Thrift
• RPC框架實踐之：Google gRPC
• 微服務調用鏈追蹤中心搭建
• Docker容器跨主機通訊
• Docker Swarm集羣初探
• 高效編寫Dockerfile的幾條準則

---

可 長按 或 掃描 下面的 當心心 來訂閱 CodeSheep，獲取更多 務實、能看懂、可復現的 原創文 ↓↓↓