Logstash日誌採集分析工具

ELK(ElasticSearch、Logstash、Kibana )的組合，是一種比較常見的數據採集分析進行可視化展現的技術方案，這裏重點展現介紹下logstash的用法。

借用官方的介紹：https://www.elastic.co/cn/products/logstash

集中、轉換和存儲數據

Logstash 是開源的服務器端數據處理管道，可以同時從多個來源採集數據，轉換數據，而後將數據發送到您最喜歡的 「存儲庫」 中。

下面，用一個比較直接的圖形，表示其功能和關係。

簡單的彙總logstash的工做流程：輸入->過濾->輸出

 

一、輸入過程：

採集各類樣式、大小和來源的數據

數據每每以各類各樣的形式，或分散或集中地存在於不少系統中。 Logstash 支持各類輸入選擇 ，能夠在同一時間從衆多經常使用來源捕捉事件。可以以連續的流式傳輸方式，輕鬆地從您的日誌、指標、Web 應用、數據存儲以及各類 AWS 服務採集數據

 

二、過濾

實時解析和轉換數據

數據從源傳輸到存儲庫的過程當中，Logstash 過濾器可以解析各個事件，識別已命名的字段以構建結構，並將它們轉換成通用格式，以便更輕鬆、更快速地分析和實現商業價值。

• 利用 Grok 從非結構化數據中派生出結構
• 從 IP 地址破譯出地理座標
• 將 PII 數據匿名化，徹底排除敏感字段
• 簡化總體處理，不受數據源、格式或架構的影響

咱們的過濾器庫豐富多樣，擁有無限可能。

輸出：

選擇您的存儲庫，導出您的數據

儘管 Elasticsearch 是咱們的首選輸出方向，可以爲咱們的搜索和分析帶來無限可能，但它並不是惟一選擇。

Logstash 提供衆多輸出選擇，您能夠將數據發送到您要指定的地方，而且可以靈活地解鎖衆多下游用例。

 

另外，logstash是基於java開發的，jdk1.8以上便可。另外，提供了豐富的插件，研發人員，也能夠開發本身的插件。用官方的話，有了

插件，就讓服務有無數的可能。

接下來，我將會對目前的各個服務的Nginx日誌進行採集分析，而後進行但是化展現。這些工做，就要藉助於ELK的組合了。