什麼是ELK

爲何用到ELK：

通常咱們須要進行日誌分析場景：直接在日誌文件中 grep、awk 就能夠得到本身想要的信息。但在規模較大的場景中，此方法效率低下，面臨問題包括日誌量太大如何歸檔、文本搜索太慢怎麼辦、如何多維度查詢。須要集中化的日誌管理，全部服務器上的日誌收集彙總。常看法決思路是創建集中式日誌收集系統，將全部節點上的日誌統一收集，管理，訪問。

通常大型系統是一個分佈式部署的架構，不一樣的服務模塊部署在不一樣的服務器上，問題出現時，大部分狀況須要根據問題暴露的關鍵信息，定位到具體的服務器和服務模塊，構建一套集中式日誌系統，能夠提升定位問題的效率。

一個完整的集中式日誌系統，須要包含如下幾個主要特色：

　　收集－可以採集多種來源的日誌數據
　　傳輸－可以穩定的把日誌數據傳輸到中央系統
　　存儲－如何存儲日誌數據
　　分析－能夠支持 UI 分析
　　警告－可以提供錯誤報告，監控機制

ELK提供了一整套解決方案，而且都是開源軟件，之間互相配合使用，完美銜接，高效的知足了不少場合的應用。目前主流的一種日誌系統。

ELK簡介：

ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個FileBeat，它是一個輕量級的日誌收集處理工具(Agent)，Filebeat佔用資源少，適合於在各個服務器上搜集日誌後傳輸給Logstash，官方也推薦此工具。

Elasticsearch是個開源分佈式搜索引擎，提供蒐集、分析、存儲數據三大功能。它的特色有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

Logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具，支持大量的數據獲取方式。通常工做方式爲c/s架構，client端安裝在須要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操做在一併發往elasticsearch上去。

Kibana 也是一個開源和免費的工具，Kibana能夠爲 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，能夠幫助彙總、分析和搜索重要數據日誌。

Filebeat隸屬於Beats。目前Beats包含四種工具：

　　一、Packetbeat（蒐集網絡流量數據）
　　二、Topbeat（蒐集系統、進程和文件系統級別的 CPU 和內存使用狀況等數據）
　　三、Filebeat（蒐集文件數據）
　　四、Winlogbeat（蒐集 Windows 事件日誌數據）

官方文檔：

Filebeat：

　　https://www.elastic.co/cn/products/beats/filebeat
　　https://www.elastic.co/guide/en/beats/filebeat/5.6/index.html

Logstash：
　　https://www.elastic.co/cn/products/logstash
　　https://www.elastic.co/guide/en/logstash/5.6/index.html

Kibana:

　　https://www.elastic.co/cn/products/kibana

　　https://www.elastic.co/guide/en/kibana/5.5/index.html

Elasticsearch：
　　https://www.elastic.co/cn/products/elasticsearch
　　https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html

elasticsearch中文社區：　　https://elasticsearch.cn/