logstash快速入門實戰指南-Logstash簡介

做者其餘ELK快速入門系列文章

Elasticsearch從入門到精通

Kibana從入門到精通

Logstash是一個具備實時流水線功能的開源數據收集引擎。Logstash能夠動態統一來自不一樣來源的數據，並將數據標準化爲您選擇的目的地。爲各類高級下游分析和可視化用例清理和統一化全部數據。

雖然Logstash最初爲了推進了日誌收集的創新而設計，但其功能遠遠超出了其以前定義。任何類型的事件均可以經過普遍的輸入，過濾和輸出插件進行豐富和轉換，使用許多本地編解碼功能能夠進一步簡化攝取過程。Logstash經過利用更大的容量和豐富的數據來加速您的洞察力。

Logstash 的力量

用於協助Elasticsearch更好地工做

具備加強Elasticsearch和Kibana協同的水平可伸縮數據處理管道

可插入管道架構

混合、匹配和編排不一樣的輸入、過濾器和輸出，使之在管道中和諧運行

社區可擴展和開發者友好的插件生態系統

超過200個插件，自建和社區貢獻

Logstash喜歡數據

Logstash能夠接受各類形狀和大小的數據，收集更多，以便您能夠了解更多。

日誌和指標

一切都開始了。

• 處理全部類型的日誌記錄數據

  • 輕鬆地攝取大量的Web日誌（如Apache）和應用程序日誌（如log4j for Java）
  • 捕獲許多其餘日誌格式，如syslog，網絡和防火牆日誌等
• 使用Filebeat享受互補的安全日誌轉發功能
• 經過TCP和UDP 從Ganglia，collectd， NetFlow，JMX以及許多其餘基礎架構和應用程序平臺收集指標

網絡

來自萬維網數據。。。

• 將HTTP請求轉換爲事件

  • 從Twitter等網絡服務消費中獲取社交情緒分析
  • Webhook支持GitHub，HipChat，JIRA和無數其餘應用程序
  • 啓用許多Watcher警報用例

• 經過按需輪詢HTTP端點來建立事件

  • 用於從Web應用程序界面捕獲運行情況，性能，指標和其餘類型的數據
  • 用於輪流控制比接收更受歡迎的場景

數據存儲和流

從您已擁有的數據中發現更多價值。

• 經過JDBC接口更好地瞭解來自任何關係數據庫或NoSQL存儲的數據
• 統一來自Apache Kafka， RabbitMQ和Amazon SQS等消息隊列的各類數據流

傳感器和物聯網

探索普遍的其餘數據。

• 在這個技術進步的時代，大規模物聯網世界經過捕獲和利用來自鏈接傳感器的數據釋放出無盡的可能。
• Logstash是用於提取從移動設備發送到智能家居，聯網車輛，醫療保健傳感器以及許多其餘行業特定應用的數據的常見事件收集主幹。

輕鬆豐富一切

數據越好，知識越好。在攝取期間清理和轉換數據，以便在索引或輸出時間當即得到近實時洞察。Logstash開箱即用，包含許多聚合和突變，以及模式匹配，地理映射和動態查找功能。

• Grok是Logstash過濾器的基礎，它能夠無處不在地用於從非結構化數據中獲取結構。享受豐富的集成模式，旨在幫助快速解決Web，系統，網絡和其餘類型的事件格式。
• 經過從IP地址解析地理座標，規範 日期複雜性，簡化鍵值對和 CSV數據，指紋識別（匿名化）敏感信息，並使用本地查找或Elasticsearch 查詢進一步豐富數據，擴展您的視野。
• 編解碼器一般用於簡化JSON 和多行事件等常見事件結構的處理。