使用Java 壓縮文件打包tar.gz 包的詳細教程
最近,小哈主要在負責日志中臺的開發(fā)工作, 等等,啥是日志中臺?
俺只知道中臺概念,這段時間的確很火,但是日志中臺又是用來干啥的?
這里小哈盡量地通俗的說下日志中臺的職責,再說日志中臺之前,我們先扯點別的?
相信大家對集中式日志平臺 ELK 都知道一些,生產(chǎn)環(huán)境中, 稍復雜的架構(gòu),服務(wù)一般都是集群部署,這樣,日志就會分散在每臺服務(wù)器上,一旦發(fā)生問題,想要查看日志就會非常繁瑣,你需要登錄每臺服務(wù)器找日志,因為你不確定請求被打到哪個節(jié)點上。另外,任由開發(fā)人員登錄服務(wù)器查看日志本身就存在安全隱患,不小心執(zhí)行了 rm -rf * 咋辦?
通過 ELK , 我們可以方便的將日志收集到一處(Elasticsearch 集群)來進行多維度的分析。
但是部署高性能、高可用的 ELK 是有門檻的,業(yè)務(wù)組想要快速的擁有集中式日志分析的能力,往往需要經(jīng)過前期的技術(shù)調(diào)研,測試,踩坑,才能將這個平臺搭建起來。
日志中臺的使命就是讓業(yè)務(wù)線能夠快速擁有這種能力,只需傻瓜式的在日志平臺完成接入操作即可。
臭嗨!說了這么多,跟你這篇文章的主題有啥關(guān)系?
額,小哈這就進入主題。
既然想統(tǒng)一管理日志,總得將這些分散的日志采集起來吧,那么,就需要一個日志采集器,Logstash 和 Filebeat 都有采集日志的能力,但是 Filebeat 相較于 Logstash 的笨重, 它更輕量級,幾乎零占用服務(wù)器系統(tǒng)資源,這里我們選型 Filebeat。
業(yè)務(wù)組在日志平臺完成相關(guān)接入流程后,平臺會提供一個采集器包。接入方需要做的就是,下載這個采集器包并扔到指定服務(wù)器上,解壓運行,即可開始采集日志,然后,就可以在日志平臺的管控頁面分析&搜索這些被收集的日志了。
這個 Filebeat 采集器包里面,包含了采集日志文件路徑,輸出到 Kafka 集群,以及一些個性化的采集規(guī)則等等。
怎么樣?是不是感覺很棒呢?
二、如何通過 Java 打包文件?2.1 添加 Maven 依賴<dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-compress</artifactId> <version>1.12</version></dependency>2.2 打包核心代碼
通過 Apache compress 工具打包思路大致如下:
①:創(chuàng)建一個 FileOutputStream 到輸出文件(.tar.gz)文件。
②:創(chuàng)建一個GZIPOutputStream,用來包裝FileOutputStream對象。
③:創(chuàng)建一個TarArchiveOutputStream,用來包裝GZIPOutputStream對象。
④:接著,讀取文件夾中的所有文件。
⑤:如果是目錄,則將其添加到 TarArchiveEntry。
⑥:如果是文件,依然將其添加到 TarArchiveEntry 中,然后還需將文件內(nèi)容寫入 TarArchiveOutputStream 中。
接下來,直接上代碼:
import org.apache.commons.compress.archivers.tar.TarArchiveEntry;import org.apache.commons.compress.archivers.tar.TarArchiveOutputStream;import org.apache.commons.io.IOUtils;import java.io.*;import java.util.zip.GZIPOutputStream;/** * @author 犬小哈 (公眾號: 小哈學Java) * @date 2019-07-15 * @time 16:15 * @discription **/public class TarUtils { /** * 壓縮 * @param sourceFolder 指定打包的源目錄 * @param tarGzPath 指定目標 tar 包的位置 * @return * @throws IOException */ public static void compress(String sourceFolder, String tarGzPath) throws IOException {createTarFile(sourceFolder, tarGzPath); } private static void createTarFile(String sourceFolder, String tarGzPath) {TarArchiveOutputStream tarOs = null;try { // 創(chuàng)建一個 FileOutputStream 到輸出文件(.tar.gz) FileOutputStream fos = new FileOutputStream(tarGzPath); // 創(chuàng)建一個 GZIPOutputStream,用來包裝 FileOutputStream 對象 GZIPOutputStream gos = new GZIPOutputStream(new BufferedOutputStream(fos)); // 創(chuàng)建一個 TarArchiveOutputStream,用來包裝 GZIPOutputStream 對象 tarOs = new TarArchiveOutputStream(gos); // 若不設(shè)置此模式,當文件名超過 100 個字節(jié)時會拋出異常,異常大致如下: // is too long ( > 100 bytes) // 具體可參考官方文檔: http://commons.apache.org/proper/commons-compress/tar.html#Long_File_Names tarOs.setLongFileMode(TarArchiveOutputStream.LONGFILE_POSIX); addFilesToTarGZ(sourceFolder, '', tarOs);} catch (IOException e) { e.printStackTrace();}finally{ try {tarOs.close(); } catch (IOException e) {e.printStackTrace(); }} } public static void addFilesToTarGZ(String filePath, String parent, TarArchiveOutputStream tarArchive) throws IOException {File file = new File(filePath);// Create entry name relative to parent file pathString entryName = parent + file.getName();// 添加 tar ArchiveEntrytarArchive.putArchiveEntry(new TarArchiveEntry(file, entryName));if (file.isFile()) { FileInputStream fis = new FileInputStream(file); BufferedInputStream bis = new BufferedInputStream(fis); // 寫入文件 IOUtils.copy(bis, tarArchive); tarArchive.closeArchiveEntry(); bis.close();} else if (file.isDirectory()) { // 因為是個文件夾,無需寫入內(nèi)容,關(guān)閉即可 tarArchive.closeArchiveEntry(); // 讀取文件夾下所有文件 for (File f : file.listFiles()) {// 遞歸addFilesToTarGZ(f.getAbsolutePath(), entryName + File.separator, tarArchive); }} } public static void main(String[] args) throws IOException {// 測試一波,將 filebeat-7.1.0-linux-x86_64 打包成名為 filebeat-7.1.0-linux-x86_64.tar.gz 的 tar 包compress('/Users/a123123/Work/filebeat-7.1.0-linux-x86_64', '/Users/a123123/Work/tmp_files/filebeat-7.1.0-linux-x86_64.tar.gz'); }}
至于,代碼每行的作用,小伙伴們可以看代碼注釋,說的已經(jīng)比較清楚了。
接下來,執(zhí)行 main 方法,測試一下效果,看看打包是否成功:
生成采集器 tar.gz 包成功后,業(yè)務(wù)組只需將 tar.gz 下載下來,并扔到指定服務(wù)器,解壓運行即可完成采集任務(wù)啦~
本文主要還是介紹如何通過 Java 來完成打包功能,關(guān)于 ELK 相關(guān)的知識,小哈會在后續(xù)的文章中分享給大家,本文只是提及一下,歡迎小伙伴們持續(xù)關(guān)注喲,下期見~
到此這篇關(guān)于使用Java 壓縮文件打包tar.gz 包的詳細教程的文章就介紹到這了,更多相關(guān)Java 壓縮文件打包tar.gz 包內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. Intellij IDEA 2019 最新亂碼問題及解決必殺技(必看篇)2. JS繪圖Flot如何實現(xiàn)動態(tài)可刷新曲線圖3. 關(guān)于HTML5的img標簽4. CSS3實現(xiàn)動態(tài)翻牌效果 仿百度貼吧3D翻牌一次動畫特效5. 未來的J2EE主流應用框架:對比Spring和EJB36. Android Manifest中meta-data擴展元素數(shù)據(jù)的配置與獲取方式7. Android自定義View實現(xiàn)掃描效果8. JS+css3實現(xiàn)幻燈片輪播圖9. css3溢出隱藏的方法10. ASP.NET MVC獲取多級類別組合下的產(chǎn)品
