linux實(shí)現(xiàn)對上傳文件的定時(shí)備份、增量備份的方法
介紹
如果你們使用的是類似阿里云的OSS存儲服務(wù),那么可以使用服務(wù)提供的定時(shí)備份,這樣可以不用考慮在服務(wù)器上做文件備份。
實(shí)際上想實(shí)現(xiàn)基礎(chǔ)的備份還是非常簡單的,我們平常使用tar、unzip等命令打包文件,在這個(gè)基礎(chǔ)上編寫一個(gè)shell腳本,利用linux的crontab功能添加一個(gè)定時(shí)執(zhí)行程序,這樣就可以簡單實(shí)現(xiàn)文件備份。但是這種方式在文件量不斷增大后還行嗎?答案肯定是不行,當(dāng)文件量不斷增加,所占存儲空間增大。這種簡單的備份方式會讓壓縮時(shí)間過長,占用過多的存儲空間。那么怎么解決這一問題呢?我們可以使用增量備份來避免每一次都對所有文件進(jìn)行備份壓縮而帶來的時(shí)間和空間的問題。
下面介紹一下實(shí)現(xiàn)方式(linux系統(tǒng)環(huán)境)
在編寫腳本之前需要先查看一下服務(wù)器上是否有crontab功能
注:在這里要贊一下這個(gè)crontab功能,確實(shí)十分實(shí)用
使用 rpm -qa|grep crontab命令查看是否已安裝crontab
上圖所示,表明已安裝。
如果未安裝,則使用yum命令進(jìn)行安裝
yum -y install vixie-cronyum -y install crontabs
vixie-cron 是 cron 的主程序;crontabs 是用來安裝、卸裝、或列舉用來驅(qū)動 cron 守護(hù)進(jìn)程的表格的程序。
如果是內(nèi)網(wǎng)環(huán)境,需要離線安裝的可找要離線安裝包
1.啟動:systemctl start crond.service
2.查看狀態(tài):systemctl status crond.service
上圖所示,表明crontab已經(jīng)在運(yùn)行
下面貼上常用命令
systemctl start crond.service//啟動命令systemctl status crond.service//查看狀態(tài)systemctl stop crond.service//關(guān)閉命令systemctl restart crond.service//重啟systemctl enable crond.service//開機(jī)運(yùn)行
有人用的不是systemctl命令,特此貼出service常用命令
service crond start //啟動服務(wù)service crond stop //關(guān)閉服務(wù)service crond restart //重啟服務(wù)service crond reload //重新載入配置service crond status //查看crontab服務(wù)狀態(tài)
創(chuàng)建腳本文件
vim backup.sh
寫入腳本命令(注:這個(gè)腳本是從網(wǎng)上找的,未找到原出處)
#!/bin/bash#好的做法#根據(jù)項(xiàng)目不同來重命名該腳本#例如 amountebak.sh or pandawillsbak.sh#該腳本最好放在 $bakpp定義的絕對路徑部分#你可以 在$bakpp下找到相應(yīng)的備份文件#例如 /usr/backup/amountebak.sh or /usr/backup/pandawillsbak.sh########## Init Path ######### 在下面的參數(shù)中必須定義的參數(shù)有 $bakpp、$project、$projectppTAR=/bin/tar# 存放備份文件的地方,以項(xiàng)目名稱區(qū)分bakpp=/data/file_backup/'$project'# 需要備份的文件夾,文件夾的路徑project=fileprojectpp=/data/# parament for varibleym=`date +%Y%m`ymd=`date +%Y%m%d`# 存儲備份文件的子目錄,以月份區(qū)分,他的上級目錄是$bakpp定義的monthbakpp=$bakpp/$ymgidpp=$monthbakppgidshot=gid$project$ym# 完全備份的文件名fullname=$ym# 增量備份的文件名incrementalname=$ymd# Record the location of the loglog=$bakpp/$project.log############ chk_full ######################## 檢查完全備份是否存在,如果不存在就創(chuàng)建它#this function check fullbackup file exist or not , if not then create fullbackup nowchk_full(){if [ -e '$monthbakpp'/'$project'_'$ym'_full.tar.gz ];thenecho ''$project'_'$ym'_full.tar.gz file exist!! ====`date +%Y-%m-%d-%T` ' >>$logelsetar_fullfi}######### chk_incremental ######### 檢查增量備份是否存在chk_incremental(){while [ -e '$monthbakpp'/'$project'_'$incrementalname'_incremental.tar.gz ]doincrementalname=`echo '$incrementalname + 0.1' | bc `done}######## tar_incremental ######## 執(zhí)行增量備份tar_incremental(){cd $projectppecho 'BEIGIN_TIME=====`date +%Y-%m-%d-%T` ==== CREATE '$project'_'$incrementalname'_incremental.tar.gz' >> $logsleep 3$TAR -g $gidpp/$gidshot -zcf $monthbakpp/'$project'_'$incrementalname'_incremental.tar.gz $projectecho 'END_TIME========`date +%Y-%m-%d-%T` ==== CREATE '$project'_'$incrementalname'_incremental.tar.gz' >> $log}######## tar_full ###########tar_full(){touch $gidpp/$gidshotcd $projectppecho 'BEIGIN_TIME=====`date +%Y-%m-%d-%T` ==== CREATE '$project'_'$fullname'_full.tar.gz' >> $log$TAR -g $gidpp/$gidshot -zcf $monthbakpp/'$project'_'$fullname'_full.tar.gz $projectecho 'END_TIME========`date +%Y-%m-%d-%T` ==== CREATE '$project'_'$fullname'_full.tar.gz' >> $log}########### backup ############################### 總體調(diào)用備份,此時(shí)會做相應(yīng)的檢查以確保備份前提準(zhǔn)備充分backup(){if [ -d $monthbakpp ]; then chk_full chk_incremental tar_incrementalelsemkdir -p $bakpp/$ymtar_fullfi}########### let’s begin ############## 先檢查$bakpp是否存在,如果不存在先創(chuàng)建后備份if [ -d $bakpp ];thenbackupelsemkdir -p $bakppbackupfi#advice you can create a file for put backup file, eg /usr/cctcc#crontab#mini hours day month week command# */5 * * * * /home/mmroot/zbb/aaa.sh# 0 1 */1 * * /home/mmroot/zbb/aaa.sh# tar -ztf test.tar.gz 查看備份文件里面的文件
使用wq!命令保存文件
這個(gè)腳本文件有三處地方需要注意一下:
#存放備份文件的地方,以項(xiàng)目名稱區(qū)分bakpp=/data/file_backup/'$project'
#需要備份的文件夾,文件夾的路徑project=fileprojectpp=/data/
上面的三個(gè)路徑要根據(jù)自己具體情況進(jìn)行更改
添加定時(shí)任務(wù):輸入命令
crontab -e
任務(wù)示例
05 03 * * * cd /data/file_backup/;sh file_backup.sh
然后使用 crontab -l 查看即可。在備份完成后,可使用命令查看備份文件里面的文件
tar -ztf file.tar.gz //查看備份文件面文件
好了,到此定時(shí)備份、增量備份就結(jié)束了。
特此說明:更安全的方式是另找一個(gè)服務(wù)器做文件備份存儲服務(wù)器。在本機(jī)完成定時(shí)備份、增量備份后,將文件推送到文件備份存儲服務(wù)器。這樣可以保證在磁盤損壞的情況下達(dá)到備份功能
到此這篇關(guān)于linux實(shí)現(xiàn)對上傳文件的定時(shí)備份、增量備份的文章就介紹到這了,更多相關(guān)linux 上傳文件備份內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. CentOS7上如何安裝Kafka?CentOS7上安裝Kafka教程2. win XP系統(tǒng)的電腦無法連接蘋果手機(jī)怎么解決3. UOS系統(tǒng)怎么更新? UOS更新系統(tǒng)的圖文教程4. 怎么安裝雙系統(tǒng)?win10穩(wěn)定版和win11雙系統(tǒng)安裝圖文教程5. 錄屏怎么保存gif動圖? UOS錄屏生成Gif動畫的技巧6. Win10電腦連接耳麥有電流噪聲解決方法7. UOS應(yīng)用商店不能用怎么辦? uos系統(tǒng)應(yīng)用商店不能使用的解決辦法8. CentOS7.0怎么設(shè)置屏幕分辨率?9. AIX上克隆rootvg的操作方法 10. Centos 7安裝Rclone如何用命令同步國外網(wǎng)盤文件?
