日誌分析 第一章 ELK介紹

1 ELK各組件介紹？

ELK Stack是elasticsearch、logstash、kibana是三個開源軟件的組合，

fielbeat是一個輕量級日誌收集工具，相似於Linux系統中tail -f監控文件變化的功能。

Logstash是一款開源的日誌收集處理框架，負責數據的採集和格式化

Elasticsearch是一個開源的分佈式搜索引擎，用於數據的快速索引存儲。

Kibana負責提供web展現功能，Grafana是相似於kibana，也是對後端數據進行實時展現。

2 爲何須要日誌分析

閒扯淡。。。主要緣由是不想將時間花在幫開發或運營找各類日誌上。。

日誌主要包括系統級別日誌，應用程序訪問和錯誤日誌。通常在沒搭建日誌分析系統以前獲取日誌，都是純手工經過awk，sed，grep解決，而經過日誌分析能夠近乎時時查看日誌，對於出現的致命錯誤日誌，或者狀態碼異常等，能夠經過配置報警策略之後短信、微信、rtx等報警。

3 拓撲圖

爲了幫你們進一步理解日誌處理流程，畫了一個拓撲圖。

處理流程：

1. filebeat從不一樣服務端收集日誌轉發給logstash處理。
2. logstash將filebeat收集的日誌進行格式化處理，好比使用logstash的geoip插件，能夠作到查看客戶端IP地址信息，好比哪一個國家，哪一個城市。
3. 而後經過elasticsearch對格式化後的數據進行索引和存儲，最後交由kibana或grafana展現。

簡單來講，進行日誌處理分析，通常須要通過如下幾個步驟：

1. 將日誌進行集中化管理（filebeat）
2. 將日誌格式化（logstash）
3. 對格式化後的數據進行索引和存儲（elasticsearch）
4. 前端數據的展現（kibana/grafana）

簡單就介紹就到這裏了，咱們的日誌分析系統將經過filebeat + logstash + elasticsearch + grafana實現。

沒有選擇kibana的緣由：

1. kibana界面太醜了
2. 對grafana情有獨鍾，對他感冒
3. open-falcon監控也是經過grafana出圖（寫完日誌分析以後，會寫open-falcon系列）