利用騰訊雲COS雲對象存儲定時遠程備份網站

版權聲明：本文由張戈  原創文章，轉載請註明出處: 
文章原文連接：https://www.qcloud.com/community/article/942851001487125915

來源：騰雲閣 https://www.qcloud.com/community

 

1、優勢分析

內網傳輸：和阿里雲OSS同樣，騰訊雲COS一樣支持內網和外網文件傳輸，對於騰訊雲服務器，使用內網傳輸絕對是最快、最穩定的備份方案！

免費方案：看了下騰訊雲COS的訂價說明，發現對於備份網站來講簡直是絕佳搭檔，甚至能夠說是鑽了個空子（但願騰訊雲的同事看到別打我。。。）！爲啥這麼說？

看下訂價方案：

①、入流量免費

至關於咱們上傳文件的流量都是免費的，不區份內外網哦！內網就不說了，都懂。

②、各類免費額度

以七天循環備份（7份壓縮包）以來算，單壓縮包支持700M+（700M*7≈50G），應付通常網站的備份絕對是足夠足夠足夠了！

2、準備工做

①、開通COS，並建立Bucket

訪問騰訊雲COS開通對象存儲服務，而後如圖建立Bucket：

Ps：咱們只用於備份，且爲私密資料，因此選擇私有讀寫。

②、添加密鑰

接着，咱們點擊左側的密鑰管理，進入密鑰界面如圖建立密鑰，若是先前已經有密鑰了，則能夠直接使用：

3、備份腳本

人生苦短，我用Python，這裏就繼續選擇Python SDK來實現，

①、環境準備

以下順序安裝騰訊雲Python SDK插件

#安裝pip
yum install python-pip

#升級pip（yum裝的可能版本比較舊）
pip install --upgrade pip

#安裝騰訊雲COS SDK插件
pip install qcloud_cos

若是不是Centos，請自行搞定，這裏再也不贅述。

②、上傳腳本

參考官方SDK文檔，寫了一個簡單夠用的上傳腳本：

# -*- coding: utf-8 -*-
# Upload File To Qcloud COS

from qcloud_cos import CosClient
from qcloud_cos import UploadFileRequest
import sys

#腳本須要傳入6個參數
if ( len(sys.argv) > 5 ):
    appid      = int(sys.argv[1])
    secret_id  = sys.argv[2].decode('utf-8')
    secret_key = sys.argv[3].decode('utf-8')
    bucket     = sys.argv[4].decode('utf-8')
    domain     = sys.argv[5].decode('utf-8')
    filePath = sys.argv[6].decode('utf-8')
    fileName = filePath.split("/")[-1]
else:
    print("Example: python %s appid secret_id secret_key Bucket zhangge.net /data/backup.zip" % sys.argv[0])
    exit()

#認證和上傳
cos_client = CosClient(appid, secret_id, secret_key)
request = UploadFileRequest(bucket, '/%s/%s' % ( domain, fileName ), filePath)
request.set_insert_only(0) 
upload_file_ret = cos_client.upload_file(request)
print 'The File %s Upload to Bucket %s : %s ' % ( filePath , bucket , upload_file_ret.get('message') )

使用方法：將上述代碼保存爲 cos.upload.py，並上傳到服務器，執行以下命令可開始上傳文件到OSS：

python /data/oss.upload.py appid secret_id secret_key Bucket名稱 域名 /data/zhangge.net_1.zip

其中：

• 1~3個參數是appid、認證ID和認證密鑰，也就是前文建立並備忘的密鑰信息；
• 第4個參數是前文建立的Bucket名稱，好比mybackup
• 第5個參數是須要備份的域名（新增的：主要是爲了區分下）
• 第6個參數是要上傳的本地文件的絕對路徑

執行後，就能在COS的Object界面看到了上傳的文件：

4、定時備份

有了上傳腳本，繼續結合以前張戈博客分享的七天循環備份腳本，實現循環備份到COS了，既安全還節省COS空間。

①、適合COS七天循環備份腳本

#!/bin/sh
###################################################################
#  Web Backup version 1.0.0 Author: Jager <ge@zhangge.net>        #
# For more information please visit https://zhangge.net/5117.html #
#-----------------------------------------------------------------#
#  Copyright ©2016 zhangge.net. All rights reserved.              #
###################################################################

isDel=n
args=$#
isDel=${!args}
mypassword=123456
test -f /etc/profile && . /etc/profile >/dev/null 2>&1
baseDir=$(cd $(dirname $0) && pwd)
zip --version >/dev/null || yum install -y zip
ZIP=$(which zip)
TODAY=`date +%u`
PYTHON=$(which python)
MYSQLDUMP=$(which mysqldump)

# 新增的COS上傳文件函數,請按照實際狀況修改appID，認證KEY、認證密鑰和Bucket名稱!!!
uploadToCOS()
{
    $PYTHON $baseDir/cos.upload.py appID 認證KEY 認證密鑰 Bucket名稱 $1 $2
    if [[ $? -eq 0 ]] &&  [[ "$isDel" == "y" ]]
    then
        test -f $2 && rm -f $2
    fi
}

printHelp()
{
clear
printf '
=====================================Help infomation=========================================
1. Use For Backup database:
The $1 must be [db]
    $2: [domain]
    $3: [dbname]
    $4: [mysqluser]
    $5: [mysqlpassword]
    $6: [back_path]
    $7: [isDel]

For example:./backup.sh db zhangge.net zhangge_db zhangge 123456 /home/wwwbackup/zhangge.net

2. Use For Backup webfile:
The $1 must be [\file]:
    $2: [domain]
    $3: [site_path]
    $4: [back_path]
    $5: [isDel]

For example:./backup.sh file zhangge.net /home/wwwroot/zhangge.net /home/wwwbackup/zhangge.net
=====================================End of Hlep==============================================

'
exit 0
}

backupDB()
{
    domain=$1
    dbname=$2
    mysqluser=$3
    mysqlpd=$4
    back_path=$5
    test -d $back_path || (mkdir -p $back_path || echo "$back_path not found! Please CheckOut Or feedback to zhangge.net..." && exit 2)
    cd $back_path
    #若是是要備份遠程MySQL，則修改以下語句中localhost爲遠程MySQL地址
    $MYSQLDUMP -hlocahost -u$mysqluser -p$mysqlpd $dbname --skip-lock-tables --default-character-set=utf8 >$back_path/$domain\_db_$TODAY\.sql
    test -f $back_path/$domain\_db_$TODAY\.sql || (echo "MysqlDump failed! Please CheckOut Or feedback to zhangge.net..." && exit 2)
    $ZIP -P$mypassword -m $back_path/$domain\_db_$TODAY\.zip $domain\_db_$TODAY\.sql && \
    uploadToCOS $domain $back_path/$domain\_db_$TODAY\.zip
}

backupFile()
{
    domain=$1
    site_path=$2
    back_path=$3
    test -d $site_path || (echo "$site_path not found! Please CheckOut Or feedback to zhangge.net..." && exit 2)
    test -d $back_path || (mkdir -p $back_path || echo "$back_path not found! Please CheckOut Or feedback to zhangge.net..." && exit 2)
    test -f $back_path/$domain\_$TODAY\.zip && rm -f $back_path/$domain\_$TODAY\.zip
    $ZIP -P$mypassword -9r $back_path/$domain\_$TODAY\.zip $site_path && \
    uploadToCOS $domain $back_path/$domain\_$TODAY\.zip    
}

while [ $1 ]; do
    case $1 in
        '--db' | 'db' )
        backupDB $2 $3 $4 $5 $6
        exit
        ;;
        '--file' | 'file' )
        backupFile $2 $3 $4
        exit  
        ;;
        * )
        printHelp
        exit
        ;;
    esac
done
printHelp

②、使用方法

將上述代碼做以下修改：

I、根據實際狀況修改上述代碼中的COS上傳函數代碼，好比密鑰對和Bucket名稱（參考前文）
II、替換代碼中的mypassword=123456爲本身設置的壓縮包密碼，不修改的話壓縮文件解壓密碼爲123456

而後，將代碼保存爲backup.sh，上傳到服務器（建議存放到和前文python腳本的相同目錄），好比/data/backup.sh，最後以下添加定時任務：

#編輯crontab
[root@AlyServer ~]# crontab -e

#而後添加以下內容：

#備份數據庫(參數依次爲：db、域名、數據庫名稱、數據庫用戶名、對應密碼、備份路徑 [可選：y 刪除本地壓縮包])
10 3 * * * bash /data/backup.sh db zhangge.net zhangge root 123456 /home/wwwbackup/zhangge.net > /dev/null 2>&1

#備份網站文件（參數依次爲：file、域名、網站根目錄、備份路徑 [可選：y 刪除本地壓縮包]）
15 3 * * * bash /data/backup.sh file zhangge.net /home/wwwroot/zhangge.net /home/wwwbackup/zhangge.net >/dev/null 2>&1

#按下鍵盤esc，輸入 :wq 保存crontab便可

所有完成後，就能實現本地7天循環備份和COS遠程備份了！

在文章的最後，爲了方便廣大代碼小白朋友，特提供本文涉及腳本的打包下載：

5、幕後花絮

在折騰SDK的時候，第一眼其實被騰訊雲的說明文檔虐到了：

只說瞭如何安裝SDK插件，而後直接來個def函數，而後就沒而後了，到底如何import這個SDK？一臉懵逼。。。
最後在github的 simple.py 中才找到了完整的DEMO：
https://github.com/tencentyun/cos-python-sdk/blob/3.3/sample.py

在這懵逼期間，我甚至用上了騰訊雲作好的本地遷移工具，實際也是很是好用，簡單配置下就能在後臺定時上傳更新的文件到COS了：

篇幅有限，這裏就不深刻介紹了，除此以外，COS還提供了其餘很是實用的工具，好比FTP工具、七牛以及OSS遷移工具等，感興趣的朋友只須要看下 官方文檔 就會弄了！