一文教您如何經過 Java 壓縮文件，打包一個 tar.gz Filebeat 採集器包

歡迎關注筆者的公衆號: 小哈學Java, 專一於推送 Java 領域優質乾貨文章！！

我的網站: https://www.exception.site/essay/create-tar-gz-by-java

1、背景

最近，小哈主要在負責日誌中臺的開發工做, 等等，啥是日誌中臺？

俺只知道中臺概念，這段時間的確很火，可是日誌中臺又是用來幹啥的？

這裏小哈儘可能地通俗的說下日誌中臺的職責，再說日誌中臺以前，咱們先扯點別的？

相信你們對集中式日誌平臺 ELK 都知道一些，生產環境中, 稍複雜的架構，服務通常都是集羣部署，這樣，日誌就會分散在每臺服務器上，一旦發生問題，想要查看日誌就會很是繁瑣，你須要登陸每臺服務器找日誌，由於你不肯定請求被打到哪一個節點上。另外，任由開發人員登陸服務器查看日誌自己就存在安全隱患，不當心執行了 rm -rf * 咋辦？

經過 ELK , 咱們能夠方便的將日誌收集到一處（Elasticsearch 集羣）來進行多維度的分析。

可是部署高性能、高可用的 ELK 是有門檻的，業務組想要快速的擁有集中式日誌分析的能力，每每須要通過前期的技術調研，測試，踩坑，才能將這個平臺搭建起來。

日誌中臺的使命就是讓業務線可以快速擁有這種能力，只需傻瓜式的在日誌平臺完成接入操做便可。

臭嗨！說了這麼多，跟你這篇文章的主題有啥關係？

額，小哈這就進入主題。

既然想統一管理日誌，總得將這些分散的日誌採集起來吧，那麼，就須要一個日誌採集器，Logstash 和 Filebeat 都有采集日誌的能力，可是 Filebeat 相較於 Logstash 的笨重, 它更輕量級，幾乎零佔用服務器系統資源，這裏咱們選型 Filebeat。

業務組在日誌平臺完成相關接入流程後，平臺會提供一個採集器包。接入方須要作的就是，下載這個採集器包並扔到指定服務器上，解壓運行，便可開始採集日誌，而後，就能夠在日誌平臺的管控頁面分析&搜索這些被收集的日誌了。

這個 Filebeat 採集器包裏面，包含了採集日誌文件路徑，輸出到 Kafka 集羣，以及一些個性化的採集規則等等。

怎麼樣？是否是感受很棒呢？

2、如何經過 Java 打包文件？

2.1 添加 Maven 依賴

<dependency>
  <groupId>org.apache.commons</groupId>
  <artifactId>commons-compress</artifactId>
  <version>1.12</version>
</dependency>

2.2 打包核心代碼

經過 Apache compress 工具打包思路大體以下：

• ①：建立一個 FileOutputStream 到輸出文件（.tar.gz）文件。

• ②：建立一個GZIPOutputStream，用來包裝FileOutputStream對象。

• ③：建立一個TarArchiveOutputStream，用來包裝GZIPOutputStream對象。

• ④：接着，讀取文件夾中的全部文件。

• ⑤：若是是目錄，則將其添加到 TarArchiveEntry。

• ⑥：若是是文件，依然將其添加到 TarArchiveEntry 中，而後還需將文件內容寫入 TarArchiveOutputStream 中。

接下來，直接上代碼：

import org.apache.commons.compress.archivers.tar.TarArchiveEntry;
import org.apache.commons.compress.archivers.tar.TarArchiveOutputStream;
import org.apache.commons.io.IOUtils;

import java.io.*;
import java.util.zip.GZIPOutputStream;

/**
 * @author 犬小哈 (公衆號： 小哈學Java)
 * @date 2019-07-15
 * @time 16:15
 * @discription
 **/
public class TarUtils {

    /**
     * 壓縮
     * @param sourceFolder 指定打包的源目錄
     * @param tarGzPath 指定目標 tar 包的位置
     * @return
     * @throws IOException
     */
    public static void compress(String sourceFolder, String tarGzPath) throws IOException {
        createTarFile(sourceFolder, tarGzPath);
    }

    private static void createTarFile(String sourceFolder, String tarGzPath) {
        TarArchiveOutputStream tarOs = null;
        try {
            // 建立一個 FileOutputStream 到輸出文件（.tar.gz）
            FileOutputStream fos = new FileOutputStream(tarGzPath);
            // 建立一個 GZIPOutputStream，用來包裝 FileOutputStream 對象
            GZIPOutputStream gos = new GZIPOutputStream(new BufferedOutputStream(fos));
            // 建立一個 TarArchiveOutputStream，用來包裝 GZIPOutputStream 對象
            tarOs = new TarArchiveOutputStream(gos);
            // 若不設置此模式，當文件名超過 100 個字節時會拋出異常，異常大體以下：
            // is too long ( > 100 bytes)
            // 具體可參考官方文檔： http://commons.apache.org/proper/commons-compress/tar.html#Long_File_Names
            tarOs.setLongFileMode(TarArchiveOutputStream.LONGFILE_POSIX);
            addFilesToTarGZ(sourceFolder, "", tarOs);
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            try {
                tarOs.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

    public static void addFilesToTarGZ(String filePath, String parent, TarArchiveOutputStream tarArchive) throws IOException {
        File file = new File(filePath);
        // Create entry name relative to parent file path
        String entryName = parent + file.getName();
        // 添加 tar ArchiveEntry
        tarArchive.putArchiveEntry(new TarArchiveEntry(file, entryName));
        if (file.isFile()) {
            FileInputStream fis = new FileInputStream(file);
            BufferedInputStream bis = new BufferedInputStream(fis);
            // 寫入文件
            IOUtils.copy(bis, tarArchive);
            tarArchive.closeArchiveEntry();
            bis.close();
        } else if (file.isDirectory()) {
            // 由於是個文件夾，無需寫入內容，關閉便可
            tarArchive.closeArchiveEntry();
            // 讀取文件夾下全部文件
            for (File f : file.listFiles()) {
                // 遞歸
                addFilesToTarGZ(f.getAbsolutePath(), entryName + File.separator, tarArchive);
            }
        }
    }

    public static void main(String[] args) throws IOException {
        // 測試一波，將 filebeat-7.1.0-linux-x86_64 打包成名爲 filebeat-7.1.0-linux-x86_64.tar.gz 的 tar 包
        compress("/Users/a123123/Work/filebeat-7.1.0-linux-x86_64", "/Users/a123123/Work/tmp_files/filebeat-7.1.0-linux-x86_64.tar.gz");
    }

}

至於，代碼每行的做用，小夥伴們能夠看代碼註釋，說的已經比較清楚了。

接下來，執行 main 方法，測試一下效果，看看打包是否成功：

生成採集器 tar.gz 包成功後，業務組只需將 tar.gz 下載下來，並扔到指定服務器，解壓運行便可完成採集任務啦~

3、結語

本文主要仍是介紹如何經過 Java 來完成打包功能，關於 ELK 相關的知識，小哈會在後續的文章中分享給你們，本文只是說起一下，歡迎小夥伴們持續關注喲，下期見~

4、Ref

• https://netjs.blogspot.com/2017/05/creating-tar-file-and-gzipping-multiple-files-java.html

歡迎關注微信公衆號: 小哈學Java

更多幹貨文章，請關注筆者公衆號: 小哈學Java (ID: xiaoha_java), 專一於分享Java領域乾貨文章, 不限於 BAT 面試題分享，Spring Boot, Spring Cloud, 高併發，JVM, 數據庫，Docker 容器， ELK 等相關知識，另外，關注回覆「資源」，便可獲取全文最熱的 Java 面試&架構學習資源喲~