大容量日誌管理

1、啓航

• 採用 ELK 搭建的日誌採集與分析平臺

• Logstash （ Collection ）、 Elasticsearch （ Storage+Retrieval ）、 Kibana （ View ）

 

解析：

• Elasticsearch 是實時全文搜索和分析引擎，提供蒐集、分析、存儲數據三大功能；是一套開放 REST 和 JAVA API 等結構提供高效搜索功能，可擴展的分佈式系統。它構建於 Apache Lucene 搜索引擎庫之上。

• Logstash 是一個用來蒐集、分析、過濾日誌的工具。它支持幾乎任何類型的日誌，包括系統日誌、錯誤日誌和自定義應用程序日誌。它能夠從許多來源接收日誌，這些來源包括 syslog 、消息傳遞（例如 RabbitMQ ）和 JMX ，它可以以多種方式輸出數據，包括電子郵件、 websockets 和 Elasticsearch 。

• Kibana 是一個基於 Web 的圖形界面，用於搜索、分析和可視化存儲在 Elasticsearch 指標中的日誌數據。它利用 Elasticsearch 的 REST 接口來檢索數據，不只容許用戶建立他們本身的數據的定製儀表板視圖，還容許他們以特殊的方式查詢和過濾數據。

• 檢索的方式，知足Lucence的語法（https://blog.csdn.net/m0_37913549/article/details/78989078）

 

2、進化

•告警日誌格式升級

支持可檢索的日誌格式升級，定義便於運營的日誌規範。

•日誌級別控制：統一降爲info

•規範研發打印入口，提供說明。

 

3、詳解

Logstash

• 3 stages :  in-memory bounded queues between pipeline stages

  inputs → filters → outputs

• Inputs: (  Inputs generate events )

  file、syslog(port:514)、redis、filebeat

• Filters:( filters modify events )

  grok、drop、clone、muate、ruby、uuid

• Outputs ( outputs ship events elsewhere )

  elasticsearch、file、redis、kafka

Codes: (Codecs enable you to easily separate the transport of your messages from the serialization process)

  json、multiline

4、後續改造

• 目前的架構 Logstash 在各計算機點上佔用系統資源較高

• Filebeat 是一個輕量友好的工具，用來從目標服務器中收集文本日誌而後而後轉發給 Logstash 實例進行處理，其實就是一個 Logstash 的輕量前端文本收集代理

• 參考 :https://www.cnblogs.com/richaaaard/p/6109595.html