跨平臺日誌清理工具 Log-Cutter v2.0.1 正式發佈

    Log-Cutter 是JessMA開源組織開發的一個簡單實用的日誌切割清理工具。對於服務器的平常維護來講，日誌清理是很是重要的事情，若是殘留日誌過多則嚴重浪費磁盤空間同時影響服務的性能。若是用手工方式進行清理，會花費太多時間，而且不少時候難以知足實際要求。例如：如何在每一個星期六凌晨3點把超過 2G 大的日誌文件進行切割，保留最新的 100M 日誌記錄？ 網上沒有發現能知足本座要求的日誌切割工具，所以花了一些閒暇時間本身寫了一個。因爲要在多個平臺上使用，爲了方便採用 Java 實現。本工具命名爲 Log-Cutter，主要有如下特色：

1. 支持 Linux、Mac 和 Windows 等全部常見操做系統平臺
2. 支持命令行交互式運行
3. 支持後臺非交互式運行（Linux/MAC 下使用 daemon 進程實現，Windows 用系統 Service 實現）
4. 支持三種日誌清理方式（刪除日誌文件、切割日誌文件或歸檔日誌文件）
5. 支持對 GB18030、UTF-八、UTF-16LE、UTF-16BE 等經常使用日誌文件類型進行切割
6. 高度可配置（程序執行週期、要刪除的日誌文件過時時間、要切割的日誌文件閥值和保留大小等都可配置

Log-Cutter 官方網站：http://www.jessma.org
Log-Cutter 下載地址：http://www.oschina.net/p/log-cutter

 

1、環境要求
--------------------------------------------------
1) Java 版 本: JDK / JRE  1.6 以上
2) 依賴程序包: dom4j、log4j、ant、juniversalchardet
--------------------------------------------------

2、配置文件
--------------------------------------------------
1) 程序配置文件: conf/config.xml (默認)
    （示例參考：conf/config-template.xml）
2) 日誌配置文件: conf/log4j.properties (默認)
    （示例請參考：conf/log4j.properties）
--------------------------------------------------

3、安裝部署
（注 ：LogCutter 須要配置 ‘JAVA_HOME’ / ‘JRE_HOME’ 和 ‘CLASSPATH’ 系統環境變量）
--------------------------------------------------
1) 配置系統環境變量 ‘JAVA_HOME’（或 ‘JRE_HOME’） 和 ‘CLASSPATH’
2) 在 LogCutter配置文件（默認：conf/config.xml）中配置清理規則
3) 啓動 LogCutter
--------------------------------------------------

4、啓動方式
--------------------------------------------------
1) Windows
    A) 前臺運行: > run.bat [ -f config-file ]
    
    B) 後臺運行: > LogCutter.exe    {    
                                    -install-demand  (安裝手動啓動服務)
                                    -install-auto    (安裝自動啓動服務)
                                    -uninstall       (刪除服務)
                                    -start           (啓動服務)
                                    -stop            (中止服務)
                                    -status          (查看服務狀態)
                                }

    *** 注 *** 
        @ LogCutter.exe 以 Windows 系統服務的方式運行，安裝好後也能夠經過 Windows 服務管理器進行管理
        @ LogCutter.exe 是  32 位程序，LogCutter_x64.exe 是  64 位程序，根據當前系統平臺使用其中之一

    C) 單次運行: > run.bat - 1 [ -f config-file ]

2) Linux / Unix
    A) 前臺運行: $ run.sh [ -f config-file ]
    B) 後臺運行: $ run.sh [ -f config-file ] -d
    C) 單次運行: $ run.sh - 1 [ -f config-file ] [ -d ]

    *** 注 ***
        @ 能夠把 run.sh 啓動命令加入 /etc/rc.d/rc. local 中，從而設置爲開機時自動運行
--------------------------------------------------

詳細說明與使用方法參考：《操做指南》

•  配置文件 

<? xml version="1.0" encoding="UTF-8" ?>
< CONFIG     xmlns ="http://www.jessma.org"
        xmlns:xsi ="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation ="http://www.jessma.org http://www.jessma.org/schema/log-cutter-cfg-2.0.xsd" >
     < global >
         <!--  開始日誌檢查延時 (小時), 默認: 0 (馬上開始)
        
            1) 當指定爲一個整數值時，執行器首次啓動延時時間爲該值設定的小時數

                （例如：12 小時後首次啓動執行器）
                <start-check-delay>12</start-check-delay>
                
            2) 當指定爲一個 ‘hh:mm’ 格式的值時，執行器首次啓動時間爲該時分值

                （例如：12 點 34 分首次啓動執行器，若是當前時間超過 12 點 34 分則在明天的 12 點 34 分首次啓動執行器）
                <start-check-delay>12:34</start-check-delay>
         -->
         <!--  02 點 30 分首次啓動執行器  -->
         < start-check-delay >02:30 </ start-check-delay >
         <!--  日誌檢查間隔 (小時), 默認: 72  -->
         < check-interval ></ check-interval >
         <!--  Log4J 配置文件, 默認: ${CLASS_ROOT}/../conf/log4j.properties  -->
         < log4j-config-file ></ log4j-config-file >
         <!--  進程鎖文件, 默認: ${CLASS_ROOT}/../${APP_NAME}.lock  -->
         < lock-file ></ lock-file >
     </ global >
    
     <!--  要刪除的日誌文件列表（可配置多個，由 DelFileRunner 執行）
        1) DelFileRunner 會遞歸刪除符合條件的文件夾及其中的全部文件
        2) 注意：在判斷是否刪除文件夾時，檢測的是文件夾的最後修改時間，而不是其中文件的最後修改時間
        3) DelFileRunner 適用於清理 「按期產生新日誌文件」 的應用程序日誌
     -->
     <!--  delete-files.expire: 日誌文件過時時間(天), 默認: 90  -->
     < delete-files  expire ="30" >
         <!--  file.path: 文件所在目錄, 必須填寫, 不能包含通配符  -->
         <!--  file: 文件或文件夾名稱, 必須填寫, 可包含通配符  -->
         < file  path ="/opt/LogCutter/logs" >LogCutter.log* </ file >
         < file  path ="/opt/hMailServer/Logs" >*.log </ file >
         < file  path ="/opt/tomcat-6.0/logs" >*.log </ file >
     </ delete-files >
     < delete-files  expire ="365" >
         < file  path ="~/backup" >* </ file >
     </ delete-files >
    
     <!--  要截斷的日誌文件列表（可配置多個，由 CutFileRunner 執行）
        1) CutFileRunner 只會掃描符合條件的文件，不會掃描文件夾
        2) CutFileRunner 會截斷文件的前部內容，保留後部內容
        3) CutFileRunner 適用於清理 「日誌文件不斷追加增加」 的應用程序日誌
     -->
     <!--  cut-files.threshold:    日誌文件截斷閥值(KB), 默認: 10240  -->
     <!--  cut-files.reserve:        日誌文件保留內容(KB), 默認: 1024  -->
     <!--
         <!注!> 'cut-files.reserve' 是保留內容的近似值, 實際內容按行取整保留
            以下列日誌文件內容:
                  
                 line1: xxxxxxxxxxxxxxxxxxxxx
                 line2: xxxxxxxxxxPyyyyyyyyyy
                 line3: zzzzzzzzzzzzzzzzzzzzz
                 line4: zzzzzzzzzzzzzzzzzzzzz
                    (EOF)
             'P'爲定位獲得的保留起點, 程序實際會在'P'點開始查找下一個換行符,
             從該換行符的後一個字符開始保留, 也就是從第三行開始保留到文件末尾
     -->
     < cut-files  threshold ="10240"  reserve ="512" >
         < file  path ="/opt/apache-2.2/logs" >*.log </ file >
         < file  path ="/opt/mysql-server-5.1/data" >*.err </ file >
     </ cut-files >
    
     <!--  要歸檔的日誌文件列表（可配置多個，由 ArcFileRunner 執行）
        1) ArcFileRunner 把符合條件的文件或文件夾壓縮歸檔到指定目錄，並刪除原文件或文件夾
        2) 歸檔文件格式：{原文件/文件夾名稱}_{系統時間}.zip
        3) 注意：在判斷是否歸檔文件夾時，檢測的是文件夾的最後修改時間，而不是其中文件的最後修改時間
        4) ArcFileRunner 適用於清理 「按期產生新日誌文件或日誌目錄」 的應用程序日誌
     -->
     <!--  archive-files.expire:            日誌文件過時時間(天), 默認: 90  -->
     <!--  archive-files.archive-path:    日誌文件歸檔目錄  -->
     < archive-files  expire ="120"  archive-path ="~/backup" >
         < file  path ="/opt/mysql-server-5.1/data" >mysql-bin.* </ file >
     </ archive-files >
</ CONFIG >

---

Log-Cutter 2.0.1 更新：

一、增長文件歸檔執行器 ArcFileRunner

    1) ArcFileRunner 把符合條件的文件或文件夾壓縮歸檔到指定目錄，並刪除原文件或文件夾
    2) 屬性 expire 指定歸檔到期時間，屬性 archive-path 指定歸檔目錄
    3) 歸檔文件格式：{原文件/文件夾名稱}_{系統時間}.zip

<!--  例如：下面的配置把最後修改時間超過 90 天的文件或文件夾歸檔到 ‘E:\backup’ 目錄  -->
< archive-files  archive-path ="E:\backup"  expire =90>
     <file path ="X:\MyApp\logs" >* </ file >
     < file  path ="X:\nginx-1.4.1\logs" >*.log </ file >
</ archive-files >

二、支持多組文件清理策略

    1) config.xml 能夠配置多項 <delete-files>、<cut-files> 或 <archive-files>
    2) 不一樣的配置項可使用不一樣的清理策略參數

<!--  例如：下面配置的兩組歸檔清理策略中，分別指定不一樣的歸檔到期時間和歸檔目錄  -->
< archive-files  archive-path ="E:\backup"  expire =90>
     <file path ="X:\MyApp\logs" >* </ file >
     < file  path ="X:\nginx-1.4.1\logs" >*.log </ file >
</ archive-files >
< archive-files  archive-path ="E:\backup2"  expire =300>
     <file path ="X:\MyApp2\logs" >* </ file >
     < file  path ="X:\Tomcat-6\logs" >*.log </ file >
</ archive-files >

三、文件刪除執行器 DelFileRunner 支持遞歸刪除文件夾

    1) DelFileRunner 會遞歸刪除符合條件的文件夾及其中的全部文件
    2) 注意：在判斷是否刪除文件夾時，檢測的是文件夾的最後修改時間，而不是其中文件的最後修改時間

<!--  例如：下面的配置會刪除 logs 目錄下全部最後修改時間超過 90 天的文件或文件夾  -->
< delete-files  expire =90>
     <file path ="X:\MyApp\logs" >* </ file >
</ delete-files >

四、執行器首次啓動延時配置 ‘<start-check-delay>’ 支持指定絕對時間

    1) 當指定爲一個整數值時，執行器首次啓動延時時間爲該值設定的小時數
    2) 當指定爲一個 ‘hh:mm’ 格式的值時，執行器首次啓動時間爲該時分值

<!-- （例如） -->
<!--  12 小時後首次啓動執行器  -->
< start-check-delay >12 </ start-check-delay >
<!--  12 點 34 分首次啓動執行器，若是當前時間超過 12 點 34 分則在明天的 12 點 34 分首次啓動執行器  -->
< start-check-delay >12:34 </ start-check-delay >

五、增長單次運行模式（running-only-once mode）

    1) 在單次運行模式下，LogCutter 在啓動時馬上運行全部執行器，當全部執行器運行完畢後退出程序
    2) 單次運行模式可避免 LogCutter 做爲常駐進程一直運行，配合 CronTab 等任務調度器一塊兒使用則能達到定時清理的目的
    3) 在單次運行模式下 運行 LogCutter 會忽略配置文件的 ‘start-check-delay’ 和 ‘check-interval’ 配置項
    4) 經過命令行參數 ‘-1’ 指示使用單次運行模式啓動 LogCutter

        （例如）
           Windows : > run.bat -1
        Unix/Linux : > run.sh -1 [ -d ]

六、優化啓動腳本 run.sh / run.bat

    1) 只需配置好系統環境變量 ‘JAVA_HOME’（或 ‘JRE_HOME’） 和 ‘CLASSPATH’ 便可經過啓動腳本運行 LogCutter
    2) 啓動腳本接受命令行參數並傳遞到 LogCutter 程序中。其中 run.sh 經過額外的參數 ‘-d’ 指示後臺運行 LogCutter