手把手教你搭建 ELK 實時日誌分析平臺

本篇文章主要是手把手教你搭建 ELK 實時日誌分析平臺，那麼，ELK 究竟是什麼呢？

ELK 是三個開源項目的首字母縮寫，這三個項目分別是：Elasticsearch、Logstash 和 Kibana。

• Elasticsearch 是一個搜索和分析引擎。
• Logstash 是服務器端數據處理管道，可以同時從多個來源採集數據，轉換數據，而後將數據發送到諸如 Elasticsearch 等存儲庫中。
• Kibana 則可讓用戶在 Elasticsearch 中使用圖形和圖表對數據進行可視化。

Elasticsearch 的核心是搜索引擎，因此用戶開始將其用於日誌用例，並但願可以輕鬆地對日誌進行採集和可視化。有鑑於此，Elastic 引入了強大的採集管道 Logstash 和靈活的可視化工具 Kibana。

ELK日誌系統數據流圖以下：

簡短了解 ELK 是個啥後，讓咱們一塊兒動手搭建 ELK 實時日誌分析平臺，首先安裝 Elasticsearch。

注：ELK 環境搭建版本很關鍵，建議統一版本，避免錯誤無處下手，我在這裏選用的是 7.1.0 版本。

ElasticSearch 介紹與安裝

ElasticSearch 的介紹與安裝在上一篇文章已經講過了，這裏就不進行贅述了，你們能夠點擊下方連接查看：

全文搜索引擎 Elasticsearch 入門：集羣搭建

若是你已經瞭解並安裝好 Elasticsearch，那麼就跟着我一塊兒往下一步進發：瞭解並安裝 Kibana。

Kibana 介紹與安裝

這部分主要講解如何下載並安裝 Kibana，以及如何安裝 Kibana 插件，同時會針對 Kibana 的界面進行簡單的介紹。

首先讓咱們來看下 Kibana 到底是何物？

什麼是 Kibana？

Kibana 是爲 Elasticsearch 設計的開源分析和可視化平臺，你可使用 Kibana 來搜索，查看存儲在 Elasticsearch 索引中的數據並與之交互，你能夠很容易實現高級的數據分析和可視化，以圖標的形式展示出來。

在簡單瞭解了 Kibana 後，讓咱們來到 Kibana 的下載網站 https://www.elastic.co/cn/downloads/kibana ，目前使用的是 Windows 系統，所以下載 Windows 版本的 Kibana 下載包 kibana-7.1.0-windows-x86_64.zip。

運行 Kibana

下載完成後在本地解壓，若是須要對 Kibana 作一些定製，能夠在 config 目錄下 編輯 kibana.yml 文件，在運行 Kibana 以前須要先運行 ElasticSearch（如下簡稱 ES），由於 Kibana 是基於 ES 運行的，如今進入 bin 目錄下打開 kibana.bat 就能夠運行 Kibana 了，咱們如今打開瀏覽器，Kibana 是運行在 5601 端口上的，所以打開 http://localhost:5601，打開後會出現以下頁面：

導入樣例數據，查看 Dashboard

進入首頁後會提示咱們能夠添加一些測試數據，ES 在 Kibana 開箱即用的版本中，已經爲咱們準備了三種樣例數據，電商網站的訂單，航空公司的飛行記錄以及 WEB 網站的日誌，咱們能夠點擊 Add data，把他們添加進來，添加完成後，咱們能夠打開 Dashboards 界面，就能夠看到系統已經爲咱們建立了數據的 Dashboard。

第一個是電商的利潤報表，咱們能夠打開來看一下：

在 Dashboard 中，咱們能夠將多套可視結果整合至單一頁面內，然後提供搜索查詢或者點擊可視結果內的某元素指定過濾條件，從而實現結果過濾，Dashboard 可以幫助咱們更全面地瞭解整體日誌內容，並將各可視結果同日志關聯起來，以上就是 Kibana 的 Dashboard 功能。

Dev Tools

接下來介紹 Kibana 裏面很是有用的工具 Dev Tools，其實就是能夠很方便地在 Kibana 中執行 ES 中的一些 API，好比咱們上文講到的檢測有哪些節點在運行： GET /_cat/nodes?v，這樣咱們就能在 Kibana 中運行 ES 命令了。

另外，Kibana 的 Dev Tools 還有許多的快捷菜單操做，好比 Ctrl + / 能夠查看 API 幫助文檔，其餘的你們能夠去自行摸索。

安裝與查看插件

Kibana 能夠經過插件的方式來提供一些 Kibana 中的特定應用或者加強圖表展現的功能，Kibana 安裝插件和 ES 很是類似。

輸入 kibana-plugin install kibana-plugin install https://github.com/sivasamyk/logtrail/releases/download/v0.1.31/logtrail-7.1.0-0.1.31.zip 就能夠下載 LogTrail 插件了。

在 cmd 中輸入 kibana-plugin list 能夠查看本機已安裝的 Kibana 插件。

若是想移除插件可使用 kibana-plugin remove logtrail 命令來進行移除插件。

到此爲止，咱們就下載並安裝完成 Kibana，並對 Kibana 主要功能進行簡單介紹，還介紹了 Dev Tools，你們能夠本身在本地進行實踐操做下。

目前就差 ELK 三兄弟的最後一個：Logstash，讓咱們一塊兒學習下。

Logstash 介紹與安裝

這部分主要是下載並安裝 Logstash，並經過 Logstash 將測試數據集導入到 ES 中。

話很少說，首先讓咱們來了解下 Logstash 是個啥？

什麼是 Logstash？

Logstash 是開源的服務器端數據處理管道，可以同時從多個來源採集數據，轉換數據，而後將數據發送到您最喜歡的存儲庫中。

Logstash 可以動態地採集、轉換和傳輸數據，不受格式或複雜度的影響。利用 Grok 從非結構化數據中派生出結構，從 IP 地址解碼出地理座標，匿名化或排除敏感字段，並簡化總體處理過程。

數據每每以各類各樣的形式，或分散或集中地存在於不少系統中。Logstash 支持各類輸入選擇 ，能夠在同一時間從衆多經常使用來源捕捉事件，可以以連續的流式傳輸方式，輕鬆地從您的日誌、指標、Web 應用、數據存儲以及各類 AWS 服務採集數據。

再瞭解事後，讓咱們去下載安裝 Logstash。

安裝 Logstash

仍是來到 Logstash 的官網，進入到下載頁面 https://www.elastic.co/cn/downloads/logstash，下載的時候注意要和 ES 和 Kibana 的版本相同，這裏下載的爲 7.1.0 版本 logstash-7.1.0.zip。

下載後進行解壓，也能夠進入 conf 目錄下修改 logstash.conf 進行配置，運行的時候能夠經過指定配置文件 logstash -f logstash.conf 就能夠執行數據的插入和轉換的工做。

再安裝完成以後，讓咱們來使用 Logstash 往 ES 中導入數據。

用 Logstash 導入 ES

下面咱們來導入測試數據集，首先修改 logstash.conf 文件，內容爲：

input {
  file {
    path => ["D:/SoftWare/logstash-7.1.0/csv/movies.csv"]
    start_position => "beginning"
    sincedb_path => "D:/SoftWare/logstash-7.1.0/csv/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

測試數據集來自 Movielens ：https://grouplens.org/datasets/movielens/，你們能夠前往下載。配置文件中的 path 根據本身下載的測試文件路徑去修改。另外，配置文件的邏輯將在之後的文章中進行講解。

如今來執行命令 logstash -f logstash.conf 來把數據導入 ES。當看到數據打印到控制檯時，數據也正在被寫入 ES 中。

到此爲止，咱們就成功安裝了 Logstash，並經過 Logstash 將測試數據集寫入 ES，同時咱們的 ELK 實時日誌分析平臺就搭建完成了。

補充

在經過 Logstash 將測試數據集寫入 ES 後，小夥伴會發現 movies 索引狀態爲 yellow，不用擔憂，yellow 表明有副本分片沒有被分配。

由於只在本機之啓動了一個節點，而 movies 的索引設置了一個主分片一個副本分片，主副分片是沒法分配在一個節點上的。

解決方法：修改索引 setting，將副本 replica 設置成 0，或者爲集羣增長一個節點，狀態就會變爲 green。

總結

本文主要了解了什麼是 ELK，而後經過實際操做和你們一塊兒搭建了一個 ELK 日誌分析平臺，若是在搭建過程當中有什麼問題，歡迎留言交流討論。

若是 ELK 安裝包或者測試數據集下載速度慢的話，能夠在【武培軒】公衆號回覆 elk資料便可得到。

參考文獻

https://www.elastic.co/guide/en/kibana/7.1/index.html

https://www.elastic.co/guide/en/logstash/7.1/index.html

Elasticsearch核心技術與實戰