Logstash 參考指南（目錄）

Logstash 參考指南

Logstash是一個具備實時管道功能的開源數據收集引擎，Logstash能夠動態地未來自不一樣數據源的數據統一塊兒來，並將數據規範化爲你選擇的目的地，清理和大衆化你的全部數據，用於各類高級下游分析和可視化用例。

• 版本：v6.4
• 更新日期：2018-10-04

Logstash介紹

• Logstash介紹

Logstash入門

本節將指導你安裝Logstash並驗證一切正常運行的過程，在瞭解如何儲藏第一個事件以後，你將繼續建立一個更高級的管道，該管道將Apache web日誌做爲輸入，解析日誌，並將解析後的數據寫入Elasticsearch集羣，而後你將學習如何將多個輸入和輸出插件組合在一塊兒，以統一來自各類不一樣來源的數據。

• 安裝Logstash
• 儲存你的第一個事件
• 使用Logstash解析日誌
• 拼接多個輸入和輸出插件

Logstash是如何工做的

• Logstash工做原理

設置和運行Logstash

在閱讀本節以前，請參閱安裝Logstash瞭解基本的安裝說明，以幫助你入門，本節包括關於如何設置和運行Logstash的其餘信息。

• Logstash目錄佈局
• Logstash配置文件
• logstash.yml
• 安全設置的Secrets Keystore
• 從命令行運行Logstash
• 做爲Debian或RPM上的服務運行Logstash
• 在Docker上運行Logstash
• 爲Docker配置Logstash
• 日誌記錄
• 關閉Logstash
• 安裝X-Pack

重要更改

• 重要更改

升級Logstash

• 使用包管理器升級
• 直接下載進行升級
• 將Logstash升級到6.0
• 啓用持久隊列進行升級

配置Logstash

• 配置Logstash
• 配置文件的結構
• 在配置中訪問事件數據和字段
• 在配置中使用環境變量
• Logstash配置示例
• 多個管道
• 管道到管道通訊（Beta）
• 從新加載配置文件
• 管理多行事件
• Glob模式支持
• 轉換攝取節點管道
• Logstash到Logstash溝通
• 集中的管道管理
• 配置Logstash節點監控
• 在Logstash中配置安全性

管理Logstash

Logstash提供配置管理功能，使你能夠更輕鬆地管理對配置的更新。

本節中的主題僅描述Logstash的配置管理功能，有關其餘配置管理工具（如Puppet和Chef）的信息，請參閱這些項目的文檔，還能夠查看Logstash的Puppet模塊文檔。

• 集中的管道管理
• 使用Logstash模塊
• 使用Elastic Cloud
• ArcSight模塊
• Netflow模塊
• Azure模塊

使用Filebeat Modules

• 使用Filebeat Modules
• 使用Filebeat Modules配置示例

數據彈性

• 持久隊列
• Dead Letter隊列

轉換數據

• 執行核心操做
• 反序列化數據
• 提取字段並處理數據
• 經過查找豐富數據

部署和擴展Logstash

• 部署和擴展Logstash

性能調優

• 性能故障排除指南
• 調優和分析Logstash性能

監控Logstash

• 監控Logstash
• X-Pack監控概述
• 監控UI
• 管道查看器UI

監控API

• Node Info API
• Plugins Info API
• Node Stats API
• Hot Threads API

使用插件

• 生成插件
• 離線插件管理
• 私有Gem庫
• Event API

輸入插件

• 輸入插件
• beats
• elasticsearch
• file
• kafka
• log4j

輸出插件

• 輸出插件
• elasticsearch
• email
• file
• kafka
• websocket

過濾器插件

• 過濾器插件
• date
• mutate

編解碼器插件

• 編解碼器插件
• json
• plain

貢獻給Logstash

• 如何編寫Logstash輸入插件
• 如何編寫Logstash編解碼器插件
• 如何編寫Logstash過濾器插件
• 如何編寫Logstash輸出插件
• 爲Logstash插件提供補丁
• Logstash插件社區維護人員指南
• 提交你的插件到RubyGems.org和logstash插件倉庫

術語表

• 術語表

發佈說明

• Logstash 6.4.2發佈說明
• Logstash 6.4.1發佈說明