ELK之Logstash簡單介紹

1、Logstash簡介

一、官網地址

  https://www.elastic.co/products/logstash

二、軟件介紹

  官方介紹：Logstash is an open source data collection engine with real-time pipelining capabilities。簡單來講logstash就是一根具有實時數據傳輸能力的管道，負責將數據信息從管道的輸入端傳輸到管道的輸出端；與此同時這根管道還可讓你根據本身的需求在中間加上濾網，Logstash提供裏不少功能強大的濾網以知足你的各類應用場景。

  Logstash經常使用於日誌關係系統中作日誌採集的設備； 

三、系統結構

  Logstash的事件（logstash將數據流中等每一條數據稱之爲一個event）處理流水線有三個主要角色完成：inputs –> filters –> outputs：

• inpust：必須，負責產生事件（Inputs generate events），經常使用：File、syslog、redis、beats（如：Filebeats）
• filters：可選，負責數據處理與轉換（filters modify them），經常使用：grok、mutate、drop、clone、geoip

• outpus：必須，負責數據輸出（outputs ship them elsewhere），經常使用：elasticsearch、file、graphite、statsd

    其中inputs和outputs支持codecs（coder&decoder）在1.3.0 版以前，logstash 只支持純文本形式輸入，而後以過濾器處理它。但如今，咱們能夠在輸入 期處理不一樣類型的數據，因此完整的數據流程應該是：input | decode | filter | encode | output；codec 的引入，使得 logstash 能夠更好更方便的與其餘有自定義數據格式的運維產品共存，好比：graphite、fluent、netflow、collectd，以及使用 msgpack、json、edn 等通用數據格式的其餘產品等  

四、應用場景

  Logstash最經常使用於ELK（elasticsearch + logstash + kibane）中做爲日誌收集器使用

這三個並不是該管理系統的所有組
成，並且還能夠添加Redis,kafka,filebeat等軟件
它們各自的功能大概能夠這樣概述：

• E：實時分析、實時檢索、海量存儲，創建索引，以便往後快速查看、搜索、分析
• L：數據流傳輸、日誌結構化
• K：分析統計、酷炫圖表

傳統的日誌架構存在的如下若干缺點：

• 開發人員無權登陸，通過運維週轉費時費力
• 日誌數據分散在多個系統，難以查找
• 日誌數據量大，查詢速度慢
• 一個調用會涉及多個系統，難以在這些系統的日誌中快速定位數據
• 數據不夠實時
• 應用