第一章,elk集羣架構概念簡介

一,什麼是ELK

通俗來說，ELK是由Elasticsearch、Logstash、Kibana 三個開源軟件的組成的一個組合體，這三個軟件當中，每一個軟件用於完成不一樣的功能，ELK 又稱爲ELK stack，官方域名爲stactic.co，ELK stack的主要優勢有以下幾個：

• 1.處理方式靈活： elasticsearch是實時全文索引，具備強大的搜索功能
• 2.配置相對簡單：elasticsearch所有使用JSON 接口，logstash使用模塊配置，kibana的配置文件部分更簡單。
• 3.檢索性能高效：基於優秀的設計，雖然每次查詢都是實時，可是也能夠達到百億級數據的查詢秒級響應。
• 4.集羣線性擴展：elasticsearch和logstash均可以靈活線性擴展
• 5.前端操做絢麗：kibana的前端設計比較絢麗，並且操做簡單

---

什麼是Elasticsearch？

是一個高度可擴展的開源全文搜索和分析引擎，它可實現數據的實時全文搜索搜索、支持分佈式可實現高可用、提供API接口，能夠處理大規模日誌數據，好比Nginx、Tomcat、系統日誌等功能。

---

什麼是Logstash？

能夠經過插件實現日誌收集和轉發，支持日誌過濾，支持普通log、自定義json格式的日誌解析。

 

---

什麼是Kibana？

主要是經過接口調用elasticsearch的數據，並進行前端數據可視化的展示。

ELKstack部署及配置

環境準備

公網IP	內網IP	主機名	部署服務	用途
10.0.0.51	172.16.1.51	elkstack01	elasticsearch、JDK	存儲日誌的數據庫
10.0.0.52	172.16.1.52	elkstack02	elasticsearch、JDK	存儲日誌的數據庫
10.0.0.53	172.16.1.53	elkstack03	Logstash、JDK	收集日誌、過濾日誌
10.0.0.54	172.16.1.54	elkstack04	Redis、Kibana	消息隊列、日誌展現
10.0.0.55	172.16.1.55	nginx01	nginx、filebeat	修改nginx日誌格式爲json收集
10.0.0.56	172.16.1.56	tomcat01	tomcat、JDK、filebeat	修改tomcat日誌格式爲json收集

---

安裝包準備

 

安裝包名	用途
elasticsearch-5.3.0.rpm	存儲日誌的數據庫
elasticsearch-head.tar.gz	elasticsearch的web界面插件
logstash-5.3.0.rpm	日誌收集、日誌分析工具
kibana-5.3.0-x86_64.rpm	日誌展現、日誌查詢工具
filebeat-5.3.2-x86_64.rpm	日誌收集工具（比Logstash輕量）
jdk-8u121-linux-x64.tar.gz	JAVA容器（es、Logstash、tomcat須要）
nginx-1.10.3.tar.gz	測試收集nginx日誌
apache-tomcat-8.0.38.tar.gz	測試收集tomcat日誌
redis-3.2.8.tar.gz	消息隊列工具