簡單介紹ELK 組件與歷史

ELK 需求背景：

• 業務發展愈來愈在，服務器愈來愈多
• 各類訪問日誌、應用日誌、錯誤日誌愈來愈多，致使運維人員沒法很好的管理日誌
• 開發人路由器排查問題，須要到服務器上查日誌，不方便
• 運營人員須要一些數據，須要咱們運維到服務器上分析日誌

爲何要用到ELK:

通常咱們須要進行日誌分析：直接在日誌文件中 awk grep就能夠獲取想要的信息。可是規模較大時，些方法效率很低。

日誌歸檔，文本搜索，多維度查詢 ==>> 須要集中化日誌管理

創建集中式日誌收集系統，將全部節點上的日誌統一收集，管理，訪問。 分佈式部署架構，不禁的服務模式部署在不一樣的服務器上，問題出現時，大部分狀況須要根據問題暴露關鍵信息，定位到具體的服務器與服務模塊，構建一套集中式日誌系統，能夠提升定位問題效率。

需求：

• 收集 - 可以採集多種來源的日誌數據
• 傳輸 - 可以穩定的把日誌數據傳輸到中央系統
• 存儲 - 如何存儲日誌數據
• 分析 - 能夠支持UI分析
• 警告 - 可以提供錯誤報告，監控機制

ELK組件簡介

是三個開源軟件縮寫，分別爲：Elasticsearch, Logstash, Kibana 。都是開源軟件。如今還新增了一個Beats,它是一個輕量級的日誌收集處理工具Agent, Beats佔用資源少，適合於各個服務器上搜集日誌後傳輸給Logstash. 目前加了Beats工具因此已經更名爲Elastic Stack.

Elasticsearch

Elasticsearch是個開源分佈式搜索引擎，提供蒐集，分析，存儲數據三大功能。它的特色有：分佈式，零配置，自動發現，索引自動分版，索引副本機制，restfull風格接口，多數據源，自動搜索負載等。

Logstash

Logstash 主要是用來日誌的蒐集，分析，過濾日誌的工具支持大量的數據獲取方式。通常工做方式爲c/s架構，client端安裝在須要收集日誌的主機上，server端負責將收到各節點進行過濾，修改等操做一併發到elasticsearch上。

Kibana

Kibana 也是一個開源和免費的工具，Kibana能夠爲Logstash和Elasticsearch提供日誌分析友好的web界面，能夠幫助彙總，分析和搜索重要數據日誌。

Beats

Beats 是一個輕量級日誌採集，家族有6個成員，早期的ELK架構中使用Logstash收集，解析日誌，可是Logstash對內存，cpu, io 等資源消耗高。 而Beats所佔系統的CPU，內存能夠忽略不計。

ELK Stack (5.0版本後) -->> ELk Stack + Beats

• Packetbeat: 網絡數據 收集網絡流量數據
• Metricbeat: 指標 收集系統，進程，文件系統級別cpu,內存使用狀況
• Filebeat: 日誌文件 收集文件數據
• Winlogbeat windows事件日誌 收集windows事件日誌數據
• Audibeat 審計數據 收集審計日誌
• Heartbeat 運行時間監控 收集系統運行時的數據

x-pack 工具

提供安全，警報，監控，報表，圖表於一身的擴展包，是收費的。