基於logstash+elasticsearch+kibana的日誌收集分析方案（Windows）

一 方案背景

     一般，日誌被分散的儲存不一樣的設備上。若是你管理數十上百臺服務器，你還在使用依次登陸每臺機器的傳統方法查閱日誌。這樣是否是感受很繁瑣和效率低下。 開源實時日誌分析 ELK 平臺可以完美的解決日誌收集和日誌檢索、分析的問題， ELK就是指ElasticSearch 、 Logstash 和 Kiabana 三個開源工具。

    由於ELK是能夠跨平臺部署，所以很是適用於多平臺部署的應用。

二 環境準備

    1. 安裝JDK1.8環境
    2. 下載ELK軟件包

• logstash: https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
• elasticsearch：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip
• kibana: https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-windows-x86.zip 

    分別解壓下載的軟件，elasticsearch，logstash，kibana 能夠放在一個統一文件夾下

 

三 部署

    1.配置logstash

 

在logstash文件夾的下bin目錄建立配置文件logstash.conf ,內容以下：

 

 

1. input {
2. # 以文件做爲來源
3. file {
4. # 日誌文件路徑
5. path => "F:\test\dp.log"
6. }
7. }
8. filter {
9. #定義數據的格式，正則解析日誌（根據實際須要對日誌日誌過濾、收集）
10. grok {
11.     match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"}
12. }
13. #根據須要對數據的類型轉換
14. mutate { convert => { "duration" => "integer" }}
15. }
16. # 定義輸出
17. output {
18. elasticsearch {
19. hosts => ["localhost:9200"] #Elasticsearch 默認端口
20. }
21. }　　

在bin目錄下建立run.bat，寫入一下腳本：

1. logstash.bat -f logstash.conf

執行run.bat啓動logstash。

 

2. 配置Elasticsearch 

 Elasticsearch默認端口9200，執行bin/elasticsearch.bat便可啓動。

   啓動後瀏覽器訪問 127.0.0.1:9200 ，出現如下的json表示成功。

 

 

 

3.配置kibana

 Kibana啓動時從文件kibana.yml讀取屬性。默認設置配置Kibana運行localhost:5601。要更改主機或端口號，或者鏈接到在其餘機器上運行的Elasticsearch，須要更新kibana.yml文件。

 執行bin/kibana.bat啓動Kibana。

 

四 測試

    1.建立Index    

     用瀏覽器打開http://localhost:5601/  系統會提示建立Index，能夠按時間建立Index。在Discover選項卡上你會看到你剛剛在dp .log中輸入的內容。

 2. 檢索日誌

快速檢索定位。

 

3. 日誌分析

     新建Visualize，選擇Line（固然其餘視圖均可以）。而後選擇數據源。

  X軸選擇時間，Y軸分別爲訪問接口的最大耗時和平均耗時。

  建立Dashboard視圖，能夠將相關圖標放在一個視圖，方便分析。