搭建ElasticSearch+Logstash+Kibana環境

ELK介紹

ELK （官網）實際上是三個不一樣的內容，通常配合一塊兒使用。分別是： 
- ElasticSearch 
- Logstash 
- Kibana

具體的介紹能夠看官網的每一個產品介紹

Windows 環境搭建

能夠參考：https://blog.csdn.net/pilihaotian/article/details/52452010 ，基本上比較詳細了，可是也能夠看出windows安裝比較繁瑣，並且還會耗費機器自己資源，本文介紹使用Docker安裝搭建。

Docker 環境搭建

ELK對應的有不少版本，本文均使用最新版本

安裝 elasticsearch

拉取鏡像

docker pull elasticsearch

 

啓動容器

docker run -d -p 9200:9200 --name leon_elasticsearch elasticsearch

 

此時訪問地址：http://192.168.9.151:9200/，看到以下效果說明啓動成功： 

安裝插件 elasticsearch-head

通常狀況下，安裝插件只須要執行命令：

elasticsearch-plugin install mobz/elasticsearch-head

 

那麼咱們如今進入到容器中對應的目錄：/usr/share/elasticsearch/bin/，而後執行上述命令，可是發現報錯： 

查閱相關文檔得知如下信息：

– for Elasticsearch 5.x: 
site plugins are not supported. Run elasticsearch-head as a standalone server

也就是說5.X以上的版本，須要單獨啓動 elasticsearch-head 服務。 
那麼單獨啓動運行插件容器：

docker run -d -p 9100:9100 --name leon_elasticsearch-head mobz/elasticsearch-head:5

 

注意後面跟的版本5，必定要對應本身的版本。

容器啓動後，訪問地址：http://192.168.9.151:9100/

此時表明插件服務已經啓動，可是點擊鏈接，發現沒法鏈接elasticsearch服務，須要修改配置文件，文件地址爲容器中的：/usr/share/elasticsearch/config/elasticsearch.yml

咱們進入容器，發現沒法使用VI命令修改文件，這個時候能夠安裝VI工具而後修改文件，或者使用另一種粗暴的方法，在外面修改而後覆蓋文件。這裏由於安裝VI老是出錯，因此使用第二種方式。

首先將容器中的配置文件導出來：

docker cp leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml /home/px2/elasticsearch.yml

 

在文件中添加如下內容：

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization

 

而後在替換容器中的文件：

docker cp /home/px2/elasticsearch.yml leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml

 

重啓容器，而後從新訪問：http://localhost:9100/ 就能夠鏈接上了（此時尚未數據）

注意：若是仍是不能鏈接，能夠訪問地址來鏈接：http://localhost:9100/?auth_user=elastic&auth_password=changeme

安裝logstash

這裏有個比較坑的問題，使用Docker官方Hub裏的鏡像 docker pull logstash 啓動的容器老是會自動停掉，沒法運行，後來選擇使用官網中的鏡像地址：

docker run --name leon_logstash docker.elastic.co/logstash/logstash:6.2.4

 

修改配置文件,進入容器：

docker exec -it leon_logstash /bin/bash

 

進入目錄cd config 
打開並修改配置文件 vi logstash.yml:

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://192.168.9.151:9200
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: changeme

 

安裝kibana

拉取鏡像

docker pull kibana

• 1

啓動容器

docker run --name leon_kibana -p 5601:5601 -d -e ELASTICSEARCH_URL=http://192.168.9.151:9200 kibana

 

配置

訪問地址：http://192.168.9.151:5601 ，看到以下效果

此時報錯中間紅色部分，沒法進行建立，找到資料得知：

看官網的解釋說這是由於初次設置的時候logstash沒有加載到數據致使的。因此先要保證logstash可以加載到數據。

配置數據

進入到容器中：

docker exec -it leon_logstash /bin/bash

 

而後進入以下目錄： 
cd pipeline/ 
打開配置文件：vi logstash.conf

修改內容以下：

input {
        file {
            codec=> json
                path => "/usr/local/*.json"
        }
}
filter {
  #定義數據的格式
  grok {
    match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:duringTime:int}\|\|"}
  }
}
output {
   elasticsearch{
     hosts=> "http://192.168.9.151:9200"
   }
}

 

其中指定了輸出地址：elasticsearch的地址，並且還指定了內容輸入地址：/usr/local/*.json，須要在usr/local下有json格式的數據，接下來將項目生成的json格式的日誌文件上傳到該目錄。

docker cp /home/px2/logs/shop-user-consumer.json leon_logstash:/usr/local/shop-user-consumer.json
docker cp /home/px2/logs/shop-user-provider.json leon_logstash:/usr/local/shop-user-provider.json

 

而後重啓logstash容器，在從新訪問頁面，能夠看到能夠進行create了。

點擊create建立成功後，點擊Discovery,選擇時間爲一年內，能夠看到以前的數據：

而且訪問9100地址也能加載出節點信息了：

至此，整個ELK環境就搭建起來了。