CentOS 6.5搭建ELK環境ElasticSearch+Kibana+Logstash

ELK工做流程

• 多個獨立的Agent(Shipper)負責收集不一樣來源的數據，一箇中心Agent(Indexer)負責彙總和分析數據，在中心Agent前的Broker(使用Redis實現)做爲緩衝區，中心Agent後的ElasticSearch用於存儲和搜索數據，前端的Kibana提供豐富的圖表展現。
• Shipper表示日誌收集，使用LogStash收集各類來源的日誌數據，能夠是系統日誌、文件、Redis、mq等等；
• Broker做爲遠程Agent與中心Agent之間的緩衝區，使用Redis實現，一是能夠提升系統的性能，二是能夠提升系統的可靠性，當中心Agent提取數據失敗時，數據保存在Redis中，而不至於丟失；
• 中心Agent(Indexer)也是LogStash，從Broker中提取數據，能夠執行相關的分析和處理(Filter)；
• ElasticSearch用於存儲最終的數據，並提供搜索功能；
• Kibana提供一個簡單、豐富的Web界面，數據來自於ElasticSearch，支持各類查詢、統計和展現

機器部署

Logstash

（Logstash部署在IP爲192.168.123.2的機器上。）

數據流

input|decode|filter|encode|output

安裝和配置

1.安裝Java環境

2.下載並安裝GPG key

[root@localhost ~]# rpm --import http://packages.elasticsearch...

3.yum源配置

3.安裝Logstash

[root@localhost ~]# yum install logstash

4.安裝目錄

5.編輯一個簡單的配置文件

將日誌存儲到ES中的配置：

7.遇到的問題：

ElasticSearch

數據流

安裝和配置

若是是在不一樣機器上安裝，則須要像Logstash的步驟1同樣配置好Java環境。

（本文在不一樣機器上部署，如下配置在IP爲192.168.123.3的機器上進行。）

1.下載並安裝GPG key

[root@localhost ~]# rpm --import https://packages.elastic.co/G...

2.yum源配置

3.安裝ElasticSearch

[root@localhost ~]# yum install elasticsearch

4.安裝目錄

5.修改 limits.conf

6.建立目錄並受權

[root@localhost ~]# mkdir -p /data/es-data
 [root@localhost ~]# chown -R elasticsearch.elasticsearch /data/es-data/

7.配置elasticsearch.yml

8.啓動ElasticSearch

8.檢查啓動

9.訪問測試

windows下訪問:

11.安裝Elasticsearch插件

• Head
• 插件做用：主要是作ES集羣管理。

在此我向你們推薦一個架構學習交流羣。交流學習羣號：575745314 裏面會分享一些資深架構師錄製的視頻錄像：有Spring，MyBatis，Netty源碼分析，高併發、高性能、分佈式、微服務架構的原理，JVM性能優化、分佈式架構等這些成爲架構師必備的知識體系。還能領取免費的學習資源，目前受益良多

Kibana

安裝和配置

1.下載並安裝GPG Key:

rpm --import https://packages.elastic.co/G...

2.yum源配置

3.安裝Logstash

4.安裝目錄

5.修改配置文件

6.啓動Kibana

7.檢查端口

8.訪問

訪問地址：http://192.168.123.3:5601