Logstash 參考指南（Logstash介紹）

Logstash介紹

Logstash是一個具備實時管道功能的開源數據收集引擎，Logstash能夠動態地未來自不一樣數據源的數據統一塊兒來，並將數據規範化爲你選擇的目的地，清理和大衆化你的全部數據，用於各類高級下游分析和可視化用例。

雖然Logstash最初推進了日誌收集方面的創新，可是它的功能遠遠超出了這個用例，任何類型的事件均可以經過大量的輸入、過濾器和輸出插件來豐富和轉換，使用許多原生編解碼能夠進一步簡化攝取過程。Logstash經過利用大量和多種數據來提升你的洞察力。

Logstash的力量

用於Elasticsearch和更多的鑷取工做

具備加強Elasticsearch和Kibana協同的水平可伸縮數據處理管道

可插入管道架構

混合、匹配和編排不一樣的輸入、過濾器和輸出，使之在管道中和諧運行

社區可擴展和開發者友好的插件生態系統

超過200個插件，加上建立和貢獻你本身的靈活性

Logstash喜歡數據

收集更多，這樣你就能知道更多，Logstash歡迎各類形式和大小的數據。

日誌和指標

這裏是一切開始的地方

• 處理全部類型的日誌數據

  • 很容易攝取大量的web日誌（如Apache）和應用程序日誌（如Java的log4j）
  • 捕獲許多其餘日誌格式，如syslog、網絡和防火牆日誌等等
• 使用Filebeat享受互補的安全日誌轉發功能
• 從Ganglia、collectd、NetFlow、JMX收集指標，和許多其餘基礎設施，以及TCP和UDP上的應用程序平臺

網絡

解鎖萬維網

• 將HTTP請求轉換爲事件

  • 使用像Twitter這樣的web服務防火牆進行社交情緒分析
  • 對GitHub、HipChat、JIRA和無數其餘應用程序的Webhook支持
  • 支持許多監控用例

• 根據須要經過輪詢HTTP端點建立事件

  • 廣泛地從web應用程序接口捕獲健康、性能、指標和其餘類型的數據
  • 更適合於輪詢控制而不是接收的場景

數據存儲和流

從你已經擁有的數據中發現更多的價值。

• 更好地理解來自任何關係數據庫或具備JDBC接口的NoSQL存儲的數據
• 統一不一樣的數據流，如Apache Kafka、RabbitMQ和Amazon SQS

傳感器和物聯網

探索其餘數據的廣度

• 在這個技術進步的時代，龐大的物聯網世界經過捕獲和利用鏈接傳感器的數據，釋放出無窮無盡的用例
• Logstash是一個常見的事件收集主幹，用於從移動設備發送數據到智能住宅、鏈接的車輛、醫療傳感器和許多其餘行業特定的應用程序

輕鬆充實一切

數據越好，知識就越好，在攝取數據時進行清理和轉換，以便在索引或輸出時當即得到接近實時的信息，Logstash具備許多聚合和變體，以及模式匹配、geo映射和動態查找功能。

• Grok是Logstash過濾器的基礎，它被普遍地用於從非結構化數據派生結構，享受大量集成模式，以幫助快速解決web、系統、網絡和其餘類型的事件格式。
• 經過破譯IP地址的地理座標來擴展你的視野，規格化時間複雜性，簡化鍵值對和CSV數據，指紋（匿名）敏感信息，並經過本地查找或Elasticsearch查詢進一步豐富你的數據。
• Codecs一般用於簡化處理像JSON和多行事件這樣的公共事件結構。

請參閱轉換數據，以瞭解一些流行的數據處理插件的概述。

選擇你的存儲

將數據路由到最重要的地方，經過存儲、分析和對數據採起行爲，解鎖各類下游分析和操做用例。

分析

• Elasticsearch
• 數據存儲，如MongoDB和Riak

歸檔

• HDFS
• S3

監控

• Nagios
• Ganglia
• Zabbix
• Graphite
• Datadog
• CloudWatch

提醒

• 使用Elasticsearch Watcher
• Email
• Pagerduty
• IRC
• SNS