ELK + kafka 日誌方案

概述

本文介紹使用ELK（elasticsearch、logstash、kibana） +　kafka來搭建一個日誌系統。主要演示使用spring aop進行日誌收集，而後經過kafka將日誌發送給logstash，logstash再將日誌寫入elasticsearch，這樣elasticsearch就有了日誌數據了，最後，則使用kibana將存放在elasticsearch中的日誌數據顯示出來，而且能夠作實時的數據圖表分析等等。

詳細

代碼下載：http://www.demodashi.com/demo/10181.html

爲何用ELK

之前不用ELK的作法

最開始我些項目的時候，都習慣用log4j來把日誌寫到log文件中，後來項目有了高可用的要求，咱們就進行了分佈式部署web，這樣咱們仍是用log4j這樣的方式來記錄log的話，那麼就有N臺機子的N個log目錄，這個時候查找log起來很是麻煩，不知道問題用戶出錯log是寫在哪一臺服務器上的，後來，想到一個辦法，乾脆把log直接寫到數據庫中去，這樣作，雖然解決了查找異常信息便利性的問題了，但存在兩個缺陷：java

1，log記錄好多，表不夠用啊，又得分庫分表了，linux

2，鏈接db，若是是數據庫異常，那邊log就丟失了，那麼爲了解決log丟失的問題，那麼還得先將log寫在本地，而後等db連通了後，再將log同步到db，這樣的處理辦法，感受是越搞越複雜。web

如今ELK的作法

好在如今有了ELK這樣的方案，能夠解決以上存在的煩惱，首先是，使用elasticsearch來存儲日誌信息，對通常系統來講能夠理解爲能夠存儲無限條數據，由於elasticsearch有良好的擴展性，而後是有一個logstash，能夠把理解爲數據接口，爲elasticsearch對接外面過來的log數據，它對接的渠道，有kafka，有log文件，有redis等等，足夠兼容N多log形式，最後還有一個部分就是kibana，它主要用來作數據展示，log那麼多數據都存放在elasticsearch中，咱們得看看log是什麼樣子的吧，這個kibana就是爲了讓咱們看log數據的，但還有一個更重要的功能是，能夠編輯N種圖表形式，什麼柱狀圖，折線圖等等，來對log數據進行直觀的展示。redis

ELK職能分工spring

logstash作日誌對接，接受應用系統的log，而後將其寫入到elasticsearch中，logstash能夠支持N種log渠道，kafka渠道寫進來的、和log目錄對接的方式、也能夠對reids中的log數據進行監控讀取，等等。數據庫
elasticsearch存儲日誌數據，方便的擴展特效，能夠存儲足夠多的日誌數據。express
kibana則是對存放在elasticsearch中的log數據進行：數據展示、報表展示，而且是實時的。windows

怎樣用ELK

首先說明一點，使用ELK是不須要開發的，只須要搭建環境使用便可。搭建環境，能夠理解爲，下載XX軟件，而後配置下XX端口啊，XX地址啊，XX日誌轉發規則啊等等，當配置完畢後，而後點擊XX bat文件，而後啓動。bash

Logstash配置

能夠配置接入N多種log渠道，現狀我配置的只是接入kafka渠道。

配置文件在\logstash-2.3.4\config目錄下

要配置的是以下兩個參數體：

input：數據來源。
output：數據存儲到哪裏。

input {
  kafka {
    zk_connect => "127.0.0.1:2181"
    topic_id => "mylog_topic"
 }
}
filter {
  #Only matched data are send to output.
}
output {
  #stdout{}
  # For detail config for elasticsearch as output, 
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
  elasticsearch {
    action => "index"          #The operation on ES
    hosts  => "127.0.0.1:9200"   #ElasticSearch host, can be array.
    index  => "my_logs"         #The index to write data to.
  }
}

Elasticsearch配置

配置文件在\elasticsearch-2.3.3\config目錄下的elasticsearch.yml，能夠配置容許訪問的IP地址，端口等，但我這裏是採起默認配置。

Kibana配置

配置文件在\kibana-4.5.4-windows\config目錄下的kibana.yml，能夠配置容許訪問的IP地址，端口等，但我這裏是採起默認配置。

這裏有一個須要注意的配置，就是指定訪問elasticsearch的地址。我這裏是同一臺機子作測試，因此也是採起默認值了。

# The Elasticsearch instance to use for all your queries.
# elasticsearch.url: "http://localhost:9200"

關於ELK的配置大體上，就這樣就能夠了，固然其實還有N多配置項可供配置的，具體能夠google。這裏就不展開說了。

具體的配置請下載運行環境，裏面有具體的配置。

和spring aop日誌對接

elk環境搭建完畢後，須要在應用系統作日誌的aop實現。

部分spring配置

<aop:aspectj-autoproxy />
<aop:aspectj-autoproxy proxy-target-class="true" />
	
<!-- 掃描web包，應用Spring的註解 -->
<context:component-scan	base-package="com.demodashi">
	<context:include-filter type="annotation" expression="org.springframework.stereotype.Controller" />
	<context:exclude-filter type="annotation" expression="javax.inject.Named" />
	<context:exclude-filter type="annotation" expression="javax.inject.Inject" />
</context:component-scan>

部分java代碼

package com.demodashi.aop.annotation;
import java.lang.annotation.*;    
    
/**  
 *自定義註解 攔截service  
 */    
    
@Target({ElementType.PARAMETER, ElementType.METHOD})    
@Retention(RetentionPolicy.RUNTIME)    
@Documented    
public  @interface ServiceLogAnnotation {    
    
    String description()  default "";    
}

package com.demodashi.aop.annotation;
import java.lang.annotation.*;    
    
/**  
 *自定義註解 攔截Controller  
 */    
    
@Target({ElementType.PARAMETER, ElementType.METHOD})    
@Retention(RetentionPolicy.RUNTIME)    
@Documented    
public  @interface ControllerLogAnnotation {    
    
    String description()  default "";    
}

代碼截圖

日誌和kafka、和logstash、elasticsearch、kibana直接的關係

ELK，kafka、aop之間的關係

一、aop對日誌進行收集，而後經過kafka發送出去，發送的時候，指定了topic（在spring配置文件中配置爲 topic="mylog_topic"）

二、logstash指定接手topic爲 mylog_topic的kafka消息（在config目錄下的配置文件中，有一個input的配置）

三、而後logstash還定義了將接收到的kafka消息，寫入到索引爲my_logs的庫中（output中有定義）

四、再在kibana配置中，指定要鏈接那個elasticsearch（kibana.yml中有配置，默認爲本機）

五、最後是訪問kibana，在kibana的控制檯中，設置要訪問elasticsearch中的哪一個index。

部署ELK + kafka環境

我本機的環境是jdk8.0，我記得測試的過程當中，elasticsearch對jdk有特別的要求，必須是jdk7或者以上。

下載運行環境附件，並解壓後，看到以下：

這些運行環境，在每一個軟件裏面，都有具體的啓動說明，如kafka的目錄下，這樣：

按照啓動說明的命令來執行，便可啓動。

這裏須要說明一點，最早啓動，應該是zookeeper，而後纔是其餘的，其餘幾個沒有嚴格區分啓動順序。

直接在window下面，同一臺機子啓動便可。除了kibana-4.5.4-windows外，其餘幾個也是能夠在linux下運行的。

運行效果

項目導入到eclipse後，啓動，而後訪問以下地址：

用戶名爲 1001 密碼爲 123

登錄後能看到以下：

本例子是對修改密碼作了日誌攔截。因此修改密碼的動做，能看到打印以下信息：

而後是觀察一下aop日誌攔截，是否被kafka發送給logstash了，是否被寫入了elasticsearch了。

訪問elasticsearch，http://127.0.0.1:9200/_plugin/head/ 以下：

注意觀察咱們定義的my_logs這個索引庫是否增長記錄了。

訪問kibana：

http://127.0.0.1:5601/app/kibana

在輸入索引名稱後，再點擊 create按鈕，便可獲得以下界面：

而後再點擊Discover，界面以下：

若是你看不到數據，記得點擊右上角的按鈕來選擇數據的時間範圍：

到這裏就完成了，日誌的AOP收集，日誌的流轉，並寫入到elasticsearch，並用kibana看數據。

固然kibana還有很重要的一個功能是數據分析圖表的配置，主要是經過嚮導來完成。

高可用實現

如今實現的是一個最基本的日誌收集，日誌傳輸，日誌存儲以及日誌展現的一條鏈路的功能，若是系統上線，還須要作必定的集羣，如kafka集羣，zookeeper集羣，還有elasticsearch集羣

ELK + kafka 日誌方案

概述

詳細

代碼下載：http://www.demodashi.com/demo/10181.html

爲何用ELK

之前不用ELK的作法

如今ELK的作法

怎樣用ELK

Logstash配置

Elasticsearch配置

Kibana配置

和spring aop日誌對接

部分spring配置

部分java代碼

ELK，kafka、aop之間的關係

部署ELK + kafka環境

運行效果

高可用實現

代碼下載：http://www.demodashi.com/demo/10181.html

注：本文著做權歸做者，由demo大師發表，拒絕轉載，轉載須要做者受權