基於Xtrabackup進行MySQL數據庫備份

1、Xtrabackup備份恢復原理

備份innodb表時，xtrabackup若干個線程拷貝獨立表空間的.ibd文件，並不停監視此過程當中redo log的變化，添加到本身的事務日誌文件（xtrabackup_logfile）中。在此過程當中，發生的物理寫操做越多，xtrabackup_logfile越大。在拷貝完成後的第一個prepare階段，xtrabackup採用相似於innodb崩潰恢復的方法，把數據文件恢復到與日誌文件一致的狀態，並把未提交的事務回滾。若是同時須要備份myisam表以及innodb表結構等文件，那麼就須要用flush tables with lock來得到全局鎖，開始拷貝這些再也不變化的文件，同時得到binlog位置，拷貝結束後釋放鎖，也中止對redo log的監視。
 
不少同窗對上面的理解有混淆，覺得拷貝.ibd文件就跟操做系統拷貝文件同樣。其實這裏涉及到fractured page的問題，他應該會從新讀取（應該也有重試次數，超事後備份不成功）。
 
其實這個原理很簡單，瞭解下doublewrite就能夠理解了「本段摘錄自《MySQL技術內幕：InnoDB存儲引擎》」：
若是說插入緩衝帶給InnoDB存儲引擎的是性能，那麼兩次寫帶給InnoDB存儲引擎的是數據的可靠性。當數據庫宕機時，可能發生數據庫正在寫一個頁面，而這個頁只寫了一部分（好比16K的頁，只寫前4K的頁）的狀況，咱們稱之爲部分寫失效（partial page write）。在InnoDB存儲引擎未使用double write技術前，曾出現過由於部分寫失效而致使數據丟失的狀況。

 

有人也許會想，若是發生寫失效，能夠經過重作日誌進行恢復。這是一個辦法。可是必須清楚的是，重作日誌中記錄的是對頁的物理操做，如偏移量800，寫「aaaa」記錄。若是這個頁自己已經損壞，再對其進行重作是沒有意義的。這就是說，在應用（apply）重作日誌前，咱們須要一個頁的副本，當寫入失效發生時，先經過頁的副原本還原該頁，再進行重作，這就是doublewrite。

 

2、備份腳本

#!/bin/sh
#===================================================================================================
## 備份工具：
##    percona-xtrabackup-2.2.6
##
## 備份策略：
##    (1)、天天凌晨04:20點進行全量備份一次；
##    (2)、每隔1小時增量備份一次；
##
#===================================================================================================
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin

## DB備份基路徑
BACKUP_BASE_DIR="/data/mysql_backup"

## 增量備份時，用到的基準目錄列表文件
## 內容格式：基準目錄|本次備份目錄|備份類型【full|inc】
INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"

## 備份工具路徑
XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"

## MySQL配置路徑
MYSQL_CNF_PATH="/etc/my.cnf"

## 線程數
THREAD_CNT=6

#===================================================================================================
function print_help_info()
{
	echo "--------------------------------------------------------------"
	echo "Usage: $0 full | inc | help"
	echo "--------------------------------------------------------------"
	echo ""
	exit 1
}

[[ $# -lt 1 ]] && print_help_info
[[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}

## xtrabackup基礎套件不存在時，進行自動下載安裝
if [[ ! -e ${XTRABACKUP_PATH} ]]; then
	cd /usr/local
	wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz
	tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz
	mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6
	rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup
	
	for FNAME in `ls -1t /usr/local/xtrabackup/bin`
	do
		rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME}
	done
fi

## 只容許一個副本運行，以免全量備份與增量備份出現交叉，發生數據錯亂的可能性
##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1

## 目錄名默認精確到分鐘，爲避免意外狀況，致使備份任務失敗，能夠精確到秒
CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`
[[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S`

#===================================================================================================
## 全量備份
if [[ "$1" == "full" ]]; then
	${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
	echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

## 增量備份
elif [[ "$1" == "inc" ]]; then
	## 基準目錄列表文件不存在或者爲空的狀況，須要作一次全量備份
	if [[ ! -f ${INC_BASE_LIST} || `sed '/^$/d' ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then
		${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
		echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
	
	## 不存在任何目錄的狀況，須要作一次全量備份，以免增量備份失敗
	elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then
		${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
		echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
	
	## 在上一次備份的基礎上，進行增量備份
	else
		PREV_BACKUP_DIR=`sed '/^$/d' ${INC_BASE_LIST} | tail -1  | awk -F '|' '{print $2}'`
		## 上次的備份目錄不存在或者目錄爲空的狀況，以免人爲刪除的可能性【針對部分惡意刪除的狀況，目前尚未較好的檢查方法】
		if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then
			${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
			echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
		else
			${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}
			echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}
		fi
	fi

elif [[ "$1" == "help" ]]; then
	print_help_info

else
	print_help_info
fi

## 刪除2周前的數據備份
rm -rf ${BACKUP_BASE_DIR}/`date -d '14 days ago' +'%F'`_*
sed -i "/`date -d '14 days ago' +'%F'`/d" ${INC_BASE_LIST}

#===================================================================================================
##The End

####################################################################################################
## 須要添加的crontab信息：
##     (1)、全量備份
##     20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1
##
##     (2)、增量備份
##     00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1
##
####################################################################################################

####################################################################################################
## DB數據恢復步驟：
##    (1)、應用基準
##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full
##
##    (2)、應用第一個增量備份
##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one
##
##    (3)、應用第二個增量備份
##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two
##
##    (4)、再次應用基準
##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full
##
##    (5)、恢復
##    innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full
####################################################################################################

 

3、效果展現