《ElasticSearch6.x實戰教程》之實戰ELK日誌分析系統、多數據源同步

第十章-實戰：ELK日誌分析系統

ElasticSearch、Logstash、Kibana簡稱ELK系統，主要用於日誌的收集與分析。

一個完整的大型分佈式系統，會有不少與業務不相關的系統，其中日誌系統是不可或缺的一個，集中式日誌系統須要收集來自不一樣服務的日誌，對它進行集中管理存儲以及分析。ELK就是這樣一個系統。

ElasticSearch是一個開源分佈式搜索引擎，在ELK系統中提供對數據的搜索、分析、存儲。

Logstash主要用於日誌的收集，在ELK系統中做爲日誌數據源的傳輸。

Kibana則是一個可視化管理工具，在ELK系統中起可視化分析查看的做用。

安裝部署ELK

ElasticSearch

ElasticSearch的安裝在"準備工做"中已經說明，這裏再也不贅述。

Kibana

Kibana6.3.2下載地址（Linux、mac OS、Windows對應不一樣的版本）：https://www.elastic.co/cn/downloads/past-releases/kibana-6-3-2。Logstatsh歷史版本下載頁面：https://www.elastic.co/cn/downloads/past-releases#kibana。

mac OS

1. 經過命令tar -zxvf kibana-6.3.2-darwin-x86_64.tar.gz解壓到當前用戶目錄(或者其它位置)。
2. 解壓後進入kibana-6.3.2-darwin-x86_64目錄，執行vim config/kibana.yml命令，修改配置（注意yml格式的配置文件冒號必須有英文空格。

server.port: 5601
server.host: "localhost"
elasticsearch.url: "http://localhost:9200"
logging.dest: /Users/yulinfeng/log/kibana.log

1. 執行./bin/kibana命令啓動Kibana。

啓動完成，打開瀏覽器輸入localhost:5061。

Linux

安裝過程同mac OS。

Logstash

Logstash6.3.2下載地址（Linux、mac OS、Windows通用，下載zip包便可）：https://www.elastic.co/cn/downloads/past-releases/logstash-6-3-2。Logstash歷史版本下載頁面：https://www.elastic.co/cn/downloads/past-releases#logstash。

macOS

1. 解壓logstash-6.3.2.zip 解壓到當前用戶目錄(或者其它位置)
2. 解壓後進入logstash-6.3.2目錄，執行vim logstash.conf配置文件。

input {
  tcp {
    mode => "server"
    host => "127.0.0.1"
    port => 4568
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "log"
    document_type => "log4j2"
  }
}

這個配置的含義爲，Logstash的日誌採集來源是4568端口（後面咱們會經過程序代碼經過log4j向端口4568打印日誌）。Logstash的日誌向ElasticSearch輸出。

1. 執行./bin/logstash -f logstash.conf命令啓動Logstash。

Linux

安裝過程同mac OS。

日誌源DEMO

在部署Logstash時，咱們定義了日誌的來源是端口4568，接下來咱們模擬一個程序利用log4j2經過socket鏈接將日誌發送到4568端口，DEMO完整代碼地址：https://github.com/yu-linfeng/elasticsearch6.x_tutorial/tree/master/code/logstash。

DEMO的邏輯只有打印日誌，主要在log4j2.xml須要配置socket方式打印。

......
<Socket name="logstash-tcp" host="localhost" port="4568" protocol="TCP">
  <PatternLayout pattern="${LOG_PATTERN}" />
</Socket>
......

詳細代碼直接查看源碼https://github.com/yu-linfeng/elasticsearch6.x_tutorial/tree/master/code/logstash。

啓動Spring Boot程序後，控制檯開始輸出日誌，此時返回瀏覽器查看localhost:5061，點擊Management菜單，Index pattern中輸入"log"(即定義的索引Index)，一直下一步便可。

配置完成後，點擊Discover菜單，就可看到程序DEMO打印的日誌，並可進行搜索。如今，就請盡情探索吧。

第十一章-實戰：多數據源同步

一般狀況下，使用ES的地方通常都會使用MySQL，將MySQL做爲數據源，ES做爲前臺搜索。寫入一條數據到MySQL時，也須要同時寫入ES中。此時寫入ES就有兩種方式：一種同步的方式，另外一種異步的方式。寫入MySQL後同步寫入ES，好處是實時更新，插入成功便可搜索，缺點也很明顯，事務的問題(MySQL成功，ES失敗的狀況應提供一種保障機制達到數據一致性)，性能的問題(一條數據須要同時插入MySQL和ES成功後才能返回結果)。另外一種狀況是在寫入MySQL成功後，異步寫入ES，優勢是數據一致性問題比較容易保證，性能的問題也沒必要等待太久，缺點也很明顯，插入MySQL成功後，因爲異步的緣由，並不能馬上從ES搜索出結果。

寫入MySQL成功，即數據庫中數據新增了一條數據，利用MySQL的binlog技術能監測到數據的變化，從而發送一條MQ寫入到ES中。有關binlog可自行搜索。Canal便是基於數據庫增量日誌解析，提供增量數據訂閱和消費的一款阿里巴巴開源軟件。

在網絡上已經有不少資料講解如何經過Canal進行多數據源同步，這裏再也不給出詳細的部署過程，下面是異步寫入ES的架構圖。

Canal下載地址：https://github.com/alibaba/canal/releases(下載deployer版本)。

關注公衆號：CoderBuff，回覆「es」獲取《ElasticSearch6.x實戰教程》完整版PDF。

這是一個能給程序員加buff的公衆號 （CoderBuff）