03篇ELK日誌系統——升級版集羣之ELK日誌系統整合springboot項目

【

　　前言：整個ELK日誌系統已經搭建好了，接下來的流程就是：

　　　　springboot項目中的logback日誌配置經過tcp傳輸，把springboot項目中全部日誌數據傳到————》logstash，再由logstash把收集來的日誌數據傳到——————》elasticsearch集羣————————》最後由kibana展現。

 

】

 

一、準備一個springboot項目，並配置logback日誌

　　　　1.一、springboot項目demo怎麼建立就不寫了，pom.xml要配置logback包依賴和logstash包依賴，以下：

　　　　<!-- 添加Logback日誌 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-logging</artifactId>
        </dependency>

        <!-- logstash整合logback，使用logback向服務器的logstash輸出日誌數據 -->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>4.11</version>
        </dependency>

 

 

　　1.二、而後是logback與spring的整合配置文件logback-spring.xml，內容以下：(裏面有logback向logstash傳輸的配置)

<?xml version="1.0" encoding="UTF-8"?>

<!-- 從高到地低 OFF 、 FATAL 、 ERROR 、 WARN 、 INFO 、 DEBUG 、 TRACE 、 ALL -->
<!-- 日誌輸出規則  根據當前ROOT 級別，日誌輸出時，級別高於root默認的級別時  會輸出 -->
<!-- 如下  每一個配置的 filter 是過濾掉輸出文件裏面，會出現高級別文件，依然出現低級別的日誌信息，經過filter 過濾只記錄本級別的日誌-->


<!-- 屬性描述 scan：性設置爲true時，配置文件若是發生改變，將會被從新加載，默認值爲true scanPeriod:設置監測配置文件是否有修改的時間間隔，若是沒有給出時間單位，默認單位是毫秒。當scan爲true時，此屬性生效。默認的時間間隔爲1分鐘。 debug:當此屬性設置爲true時，將打印出logback內部日誌信息，實時查看logback運行狀態。默認值爲false。 -->
<configuration scan="true" scanPeriod="60 seconds" debug="false">
    <!-- 定義日誌文件 輸入位置 -->
    <property name="log_dir" value="/logs/jz-project" />
    <!-- 日誌最大的歷史 30天 -->
    <property name="maxHistory" value="30"/>




    <!-- ConsoleAppender 控制檯輸出日誌 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <!-- 對日誌進行格式化 -->
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger -%msg%n</pattern>
        </encoder>
    </appender>


    <!-- ERROR級別日誌 -->
    <!-- 滾動記錄文件，先將日誌記錄到指定文件，當符合某個條件時，將日誌記錄到其餘文件 RollingFileAppender-->
    <appender name="ERROR" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 過濾器，只記錄WARN級別的日誌 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <!-- 最經常使用的滾動策略，它根據時間來制定滾動策略.既負責滾動也負責出發滾動 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日誌輸出位置  可相對、和絕對路徑 -->
            <fileNamePattern>${log_dir}/%d{yyyy-MM-dd}/error-log.log</fileNamePattern>
            <!-- 可選節點，控制保留的歸檔文件的最大數量，超出數量就刪除舊文件假設設置每月滾動，且<maxHistory>是6， 則只保存最近6個月的文件，刪除以前的舊文件。注意，刪除舊文件是，那些爲了歸檔而建立的目錄也會被刪除-->
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>

        <!-- 按照固定窗口模式生成日誌文件，當文件大於20MB時，生成新的日誌文件。窗口大小是1到3，當保存了3個歸檔文件後，將覆蓋最先的日誌。 <rollingPolicy class="ch.qos.logback.core.rolling.FixedWindowRollingPolicy">
          <fileNamePattern>${log_dir}/%d{yyyy-MM-dd}/.log.zip</fileNamePattern>
          <minIndex>1</minIndex>
          <maxIndex>3</maxIndex>
        </rollingPolicy>   -->
        <!-- 查看當前活動文件的大小，若是超過指定大小會告知RollingFileAppender 觸發當前活動文件滾動 <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
            <maxFileSize>5MB</maxFileSize>
        </triggeringPolicy>   -->

        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>



    <!-- WARN級別日誌 appender -->
    <appender name="WARN" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 過濾器，只記錄WARN級別的日誌 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>WARN</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 按天回滾 daily -->
            <fileNamePattern>${log_dir}/%d{yyyy-MM-dd}/warn-log.log </fileNamePattern>
            <!-- 日誌最大的歷史 60天 -->
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>




    <!-- INFO級別日誌 appender -->
    <appender name="INFO" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 過濾器，只記錄INFO級別的日誌 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>INFO</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 按天回滾 daily -->
            <fileNamePattern>${log_dir}/%d{yyyy-MM-dd}/info-log.log </fileNamePattern>
            <!-- 日誌最大的歷史 60天 -->
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>




    <!-- DEBUG級別日誌 appender -->
    <appender name="DEBUG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 過濾器，只記錄DEBUG級別的日誌 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>DEBUG</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 按天回滾 daily -->
            <fileNamePattern>${log_dir}/%d{yyyy-MM-dd}/debug-log.log </fileNamePattern>
            <!-- 日誌最大的歷史 60天 -->
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>




    <!-- TRACE級別日誌 appender -->
    <appender name="TRACE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 過濾器，只記錄ERROR級別的日誌 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>TRACE</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 按天回滾 daily -->
            <fileNamePattern>${log_dir}/%d{yyyy-MM-dd}/trace-log.log </fileNamePattern>
            <!-- 日誌最大的歷史 60天 -->
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>
<!--
    <logger name="java.sql.PreparedStatement" value="DEBUG" />
    <logger name="java.sql.Connection" value="DEBUG" />
    <logger name="java.sql.Statement" value="DEBUG" />
    <logger name="com.ibatis" value="DEBUG" />
    <logger name="com.ibatis.common.jdbc.SimpleDataSource" value="DEBUG" />
    <logger name="com.ibatis.common.jdbc.ScriptRunner" level="DEBUG"/>
    <logger name="com.ibatis.sqlmap.engine.impl.SqlMapClientDelegate" value="DEBUG" />
    -->


    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.26.233:9601</destination>     <!--指定logstash ip：監聽端口 tcpAppender  可本身實現如kafka傳輸等-->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" >
            <!-- "appname":"yang_test" 的做用是指定建立索引的名字時用，而且在生成的文檔中會多了這個字段  -->
            <customFields>{"appname":"zj_test"}</customFields>
        </encoder>

    </appender>




    <!-- 這樣能打印出sql -->
    <logger name="com.jzproject.mapper" level="DEBUG" />


    <!-- root級別   DEBUG,(我修改爲了info) -->
    <root level="info">
        <!-- 控制檯輸出 -->
        <appender-ref ref="STDOUT" />
        <!-- 文件輸出 -->
        <appender-ref ref="ERROR" />
        <appender-ref ref="INFO" />
        <appender-ref ref="WARN" />
        <appender-ref ref="DEBUG" />
        <appender-ref ref="TRACE" />
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

 

 

　下面來看整合效果：

　　　　開啓3臺服務器es集羣服務、開啓logstash服務，開啓kibana服務。

　　　　只是爲了演示日誌數據傳入服務器ELK系統的效果，springboot項目就不上傳服務器啓動了，只在本地啓動，本地啓動時會馬上就會有日誌生成，並經過剛纔的logback與logstash的配置傳輸日誌到服務器上的ELK日誌系統裏。

 

　　　　

　　　　一、在idea上啓動項目：

 

 

 

 

　　　　二、能夠看到115服務器上的logstash馬上打印出了實時日誌，並且是以json格式打印的：

 

　　

 　　　　三、到瀏覽器上打開kibana，效果以下：也顯示出了剛纔啓動項目生成的日誌數據，不過要建立一下日誌索引具體使用就要去學kibana的使用了

 

 

 

 

 

到此爲止整個ELK日誌系統與springboot項目整合算是完成了，這只是一個初步的日誌系統，用戶量一大，日誌數據將會是爆發式增漲，下一步將考慮如何把kafka整合進來

 

 

 

放牛去。。。