Logback配置文件這麼寫,TPS提升10倍

經過閱讀本篇文章將瞭解到

  • 1.日誌輸出到文件並根據LEVEL級別將日誌分類保存到不一樣文件
  • 2.經過異步輸出日誌減小磁盤IO提升性能
  • 3.異步輸出日誌的原理

配置文件logback-spring.xml

SpringBoot工程自帶logbackslf4j的依賴,因此重點放在編寫配置文件上,須要引入什麼依賴,日誌依賴衝突通通都不須要咱們管了。logback框架會默認加載classpath下命名爲logback-springlogback的配置文件。將全部日誌都存儲在一個文件中文件大小也隨着應用的運行愈來愈大而且很差排查問題,正確的作法應該是將error日誌和其餘日誌分開,而且不一樣級別的日誌根據時間段進行記錄存儲。git

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--獲取比info級別高(包括info級別)但除error級別的日誌-->
    <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>

        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>
        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE-LOG" />
        <appender-ref ref="INFO-LOG" />
        <appender-ref ref="ERROR-LOG" />
    </root>
</configuration>複製代碼

部分標籤說明github

  • `xml
標籤,必填標籤,用來指定最基礎的日誌輸出級別

  - `<appender-ref>`標籤,添加`append`

- ```xml
  <append>複製代碼

標籤,經過使用該標籤指定日誌的收集策略spring

  • name屬性指定appender命名
  • class屬性指定輸出策略,一般有兩種,控制檯輸出和文件輸出,文件輸出就是將日誌進行一個持久化。ConsoleAppender將日誌輸出到控制檯
    • `xml
標籤,經過使用該標籤指定過濾策略

  - `<level>`標籤指定過濾的類型

- `<encoder>`標籤,使用該標籤下的`<pattern>`標籤指定日誌輸出格式

- ```xml
  <rollingPolicy>複製代碼

標籤指定收集策略,好比基於時間進行收集springboot

  • 標籤指定生成日誌保存地址 經過這樣配置已經實現了分類分天手機日誌的目標了

img

logback 高級特性異步輸出日誌

以前的日誌配置方式是基於同步的,每第二天志輸出到文件都會進行一次磁盤IO。採用異步寫日誌的方式而不讓這次寫日誌發生磁盤IO,阻塞線程從而形成沒必要要的性能損耗。異步輸出日誌的方式很簡單,添加一個基於異步寫日誌的appender,並指向原先配置的appender便可服務器

<!-- 異步輸出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日誌.默認的,若是隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值爲256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多隻能添加一個 -->
        <appender-ref ref="INFO-LOG"/>
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日誌.默認的,若是隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值爲256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多隻能添加一個 -->
        <appender-ref ref="ERROR-LOG"/>
    </appender>複製代碼

異步輸出日誌性能測試

既然能提升性能的話,必須進行一次測試比對,同步和異步輸出日誌性能到底能提高多少倍?app

服務器硬件

  • CPU六核
  • 內存 8G
測試工具

Apache Jmeter複製代碼

同步輸出日誌

  • 線程數:100
  • Ramp-Up Loop(能夠理解爲啓動線程所用時間) :0 能夠理解爲100個線程同時啓用
  • 測試結果

同步輸出日誌測試結果

重點關注指標框架

Throughput【TPS】複製代碼

吞吐量:系統在單位時間內處理請求的數量,在同步輸出日誌中異步

TPS複製代碼

工具

44.2/secoop

異步輸出日誌

  • 線程數 100
  • Ramp-Up Loop:0
  • 測試結果

異步輸出日誌測試結果

TPS複製代碼

497.5/sec

性能提高了10多倍!!!

異步日誌輸出原理

logback框架下的Logger.info方法開始追蹤。一路的方法調用路徑以下圖所示:

方法調用圖

異步輸出日誌中最關鍵的就是配置文件中ch.qos.logback.classicAsyncAppenderBaseappend

protected void append(E eventObject) {
        if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
            this.preprocess(eventObject);
            this.put(eventObject);
        }
    }複製代碼

經過隊列狀況判斷是否須要丟棄日誌,不丟棄的話將它放到阻塞隊列中,經過查看代碼,這個阻塞隊列爲ArrayBlockingQueueu,默認大小爲256,能夠經過配置文件進行修改。Logger.info(...)append(...)就結束了,只作了將日誌塞入到阻塞隊列的事,而後繼續執行Logger.info(...)下面的語句了。 在AsyncAppenderBase類中定義了一個Worker線程,run方法中的關鍵部分代碼以下:

E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);複製代碼

從阻塞隊列中取出一個日誌,並調用AppenderAttachableImpl類中的appendLoopOnAppenders方法維護一個Append列表。Worker線程中調用方法過程主要以下圖:

image

最主要的兩個方法就是encodewriteencode

做者:何甜甜在嗎連接:https://juejin.im/post/5d4d61326fb9a06aff5e5ff5

最後附:項目完整代碼

異步輸出日誌

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--獲取比info級別高(包括info級別)但除error級別的日誌-->
    <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>

        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>
        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <!-- 異步輸出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日誌.默認的,若是隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值爲256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多隻能添加一個 -->
        <appender-ref ref="INFO-LOG"/>
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日誌.默認的,若是隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值爲256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多隻能添加一個 -->
        <appender-ref ref="ERROR-LOG"/>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE-LOG" />
        <appender-ref ref="INFO-LOG" />
        <appender-ref ref="ERROR-LOG" />
    </root>
</configuration>複製代碼

LOG_ERROR_HOME=C://Users//hetiantian//Desktop//log//error
LOG_INFO_HOME=C://Users//hetiantian//Desktop//log//info複製代碼
相關文章
相關標籤/搜索