一、背景

最近，小哈主要在負責日志中臺的開發(fā)工作, 等等，啥是日志中臺？

俺只知道中臺概念，這段時間的確很火，但是日志中臺又是用來干啥的？

這里小哈盡量地通俗的說下日志中臺的職責，再說日志中臺之前，我們先扯點別的？

相信大家對集中式日志平臺 ELK 都知道一些，生產(chǎn)環(huán)境中, 稍復雜的架構，服務一般都是集群部署，這樣，日志就會分散在每臺服務器上，一旦發(fā)生問題，想要查看日志就會非常繁瑣，你需要登錄每臺服務器找日志，因為你不確定請求被打到哪個節(jié)點上。另外，任由開發(fā)人員登錄服務器查看日志本身就存在安全隱患，不小心執(zhí)行了 rm -rf * 咋辦？

通過 ELK , 我們可以方便的將日志收集到一處(Elasticsearch 集群)來進行多維度的分析。

但是部署高性能、高可用的 ELK 是有門檻的，業(yè)務組想要快速的擁有集中式日志分析的能力，往往需要經(jīng)過前期的技術調(diào)研，測試，踩坑，才能將這個平臺搭建起來。

日志中臺的使命就是讓業(yè)務線能夠快速擁有這種能力，只需傻瓜式的在日志平臺完成接入操作即可。

臭嗨！說了這么多，跟你這篇文章的主題有啥關系？

額，小哈這就進入主題。

既然想統(tǒng)一管理日志，總得將這些分散的日志采集起來吧，那么，就需要一個日志采集器，Logstash 和 Filebeat 都有采集日志的能力，但是 Filebeat 相較于 Logstash 的笨重, 它更輕量級，幾乎零占用服務器系統(tǒng)資源，這里我們選型 Filebeat。

業(yè)務組在日志平臺完成相關接入流程后，平臺會提供一個采集器包。接入方需要做的就是，下載這個采集器包并扔到指定服務器上，解壓運行，即可開始采集日志，然后，就可以在日志平臺的管控頁面分析&搜索這些被收集的日志了。

這個 Filebeat 采集器包里面，包含了采集日志文件路徑，輸出到 Kafka 集群，以及一些個性化的采集規(guī)則等等。

怎么樣？是不是感覺很棒呢？

二、如何通過 Java 打包文件？

2.1 添加 Maven 依賴

org.apache.commons

commons-compress

1.12

2.2 打包核心代碼

通過 Apache compress 工具打包思路大致如下：

①：創(chuàng)建一個 FileOutputStream 到輸出文件(.tar.gz)文件。

②：創(chuàng)建一個GZIPOutputStream，用來包裝FileOutputStream對象。

③：創(chuàng)建一個TarArchiveOutputStream，用來包裝GZIPOutputStream對象。

④：接著，讀取文件夾中的所有文件。

⑤：如果是目錄，則將其添加到 TarArchiveEntry。

⑥：如果是文件，依然將其添加到 TarArchiveEntry 中，然后還需將文件內(nèi)容寫入 TarArchiveOutputStream 中。

接下來，直接上代碼：

import org.apache.commons.compress.archivers.tar.TarArchiveEntry;

import org.apache.commons.compress.archivers.tar.TarArchiveOutputStream;

import org.apache.commons.io.IOUtils;

import java.io.*;

import java.util.zip.GZIPOutputStream;

/**

* @author 犬小哈 (公眾號： 小哈學Java)

* @date 2019-07-15

* @time 16:15

* @discription

**/

public class TarUtils {

/**

* 壓縮

* @param sourceFolder 指定打包的源目錄

* @param tarGzPath 指定目標 tar 包的位置

* @return

* @throws IOException

*/

public static void compress(String sourceFolder, String tarGzPath) throws IOException {

createTarFile(sourceFolder, tarGzPath);

}

private static void createTarFile(String sourceFolder, String tarGzPath) {

TarArchiveOutputStream tarOs = null;

try {

// 創(chuàng)建一個 FileOutputStream 到輸出文件(.tar.gz)

FileOutputStream fos = new FileOutputStream(tarGzPath);

// 創(chuàng)建一個 GZIPOutputStream，用來包裝 FileOutputStream 對象

GZIPOutputStream gos = new GZIPOutputStream(new BufferedOutputStream(fos));

// 創(chuàng)建一個 TarArchiveOutputStream，用來包裝 GZIPOutputStream 對象

tarOs = new TarArchiveOutputStream(gos);

// 若不設置此模式，當文件名超過 100 個字節(jié)時會拋出異常，異常大致如下：

// is too long ( > 100 bytes)

// 具體可參考官方文檔： http://commons.apache.org/proper/commons-compress/tar.html#Long_File_Names

tarOs.setLongFileMode(TarArchiveOutputStream.LONGFILE_POSIX);

addFilesToTarGZ(sourceFolder, "", tarOs);

} catch (IOException e) {

e.printStackTrace();

}finally{

try {

tarOs.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

public static void addFilesToTarGZ(String filePath, String parent, TarArchiveOutputStream tarArchive) throws IOException {

File file = new File(filePath);

// Create entry name relative to parent file path

String entryName = parent + file.getName();

// 添加 tar ArchiveEntry

tarArchive.putArchiveEntry(new TarArchiveEntry(file, entryName));

if (file.isFile()) {

FileInputStream fis = new FileInputStream(file);

BufferedInputStream bis = new BufferedInputStream(fis);

// 寫入文件

IOUtils.copy(bis, tarArchive);

tarArchive.closeArchiveEntry();

bis.close();

} else if (file.isDirectory()) {

// 因為是個文件夾，無需寫入內(nèi)容，關閉即可

tarArchive.closeArchiveEntry();

// 讀取文件夾下所有文件

for (File f : file.listFiles()) {

// 遞歸

addFilesToTarGZ(f.getAbsolutePath(), entryName + File.separator, tarArchive);

}

}

}

public static void main(String[] args) throws IOException {

// 測試一波，將 filebeat-7.1.0-linux-x86_64 打包成名為 filebeat-7.1.0-linux-x86_64.tar.gz 的 tar 包

compress("/Users/a123123/Work/filebeat-7.1.0-linux-x86_64", "/Users/a123123/Work/tmp_files/filebeat-7.1.0-linux-x86_64.tar.gz");

}

}

至于，代碼每行的作用，小伙伴們可以看代碼注釋，說的已經(jīng)比較清楚了。

接下來，執(zhí)行 main 方法，測試一下效果，看看打包是否成功：

生成采集器 tar.gz 包成功后，業(yè)務組只需將 tar.gz 下載下來，并扔到指定服務器，解壓運行即可完成采集任務啦~

三、結語

本文主要還是介紹如何通過 Java 來完成打包功能，關于 ELK 相關的知識，小哈會在后續(xù)的文章中分享給大家，本文只是提及一下，歡迎小伙伴們持續(xù)關注喲，下期見~

四、Ref

歡迎關注微信公眾號: 小哈學Java

更多干貨文章，請關注筆者公眾號:小哈學Java (ID: xiaoha_java), 專注于分享Java領域干貨文章, 不限于 BAT 面試題，算法，數(shù)據(jù)庫，Spring Boot, Spring Cloud & SOA, 高并發(fā)，JVM 調(diào)優(yōu), 數(shù)據(jù)庫，Docker 容器， ELK, DevOps 等相關知識，另外，關注回復「資源」，即可獲取全文最熱的 Java 面試&架構學習資源喲~

總結

以上是生活随笔為你收集整理的java 生成 tar.gz_一文教您如何通过 Java 压缩文件，打包一个 tar.gz Filebeat 采集器包...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。