Xtrabackup 全備 增量 差別 恢復數據 自動化備份腳本

安裝xtrabackup

wget -O /etc/yum.repos.d /epel.repo http://mirrors.aliyun.com/repo/epel-6.repo  #配置epel源
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL #安裝Xtrabackup軟件須要的基礎環境包
wget https://www.percona.com/downloads/XtraBackup/PerconaXtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
ls -l percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
yum -y install percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
ls -l `which xtrabackup innobackupex`

配置binlog

mkdir /var/bin-log/binlog -p
chown -R mysql.mysql /var/bin-log/binlog
egrep -v "#|^$" /etc/my.cnf 
向 /etc/my.cnf加入兩行
log-bin=/var/bin-log/binlog/bin.log  #mysql5.6以前是log-bin以後是log_bin
expire_logs_days=7
binlog_format=mixed
max_binlog_size=100m
binlog_cache_size=4m
max_binlog_cache_size=512m
service mysqld restart

全量備份

Xtrabackup命令，專門用於對InnoDB和XtraDB等事務引擎的數據庫熱備份的工具，不能用於備份myIsam等其餘類型的引擎數據，它的主要特色是備份數據時徹底不用鎖表。

Innobackupex命令，將上述Xtrabackup命令使用perl腳本進行二次封裝的工具，除了能夠用於InnoDB和XtraDB等引擎以外，還能夠備份MyISAM及多種引擎混合使用場景，它的主要特色是備份事務引擎數據而不用鎖表，能夠備份非事務引擎數據，但要鎖表。

mkdir /application/mysql/data -p #建立一個備份目錄
innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --socket=/var/lib/mysql/mysql.sock --no-timestamp /application/mysql/data/full #全備

cd /application/mysql/data/full
ls -l

最終結果以下：
總用量 18472
drwxr-x--- 2 root root 12288 3月 22 02:15 3ideapc
-rw-r----- 1 root root 417 3月 22 02:15 backup-my.cnf #配置文件備份
-rw-r----- 1 root root 18874368 3月 22 02:14 ibdata1 #共享表空間備份
drwxr-x--- 2 root root 4096 3月 22 02:14 mysql
drwxr-x--- 2 root root 4096 3月 22 02:14 test
-rw-r----- 1 root root 15 3月 22 02:15 xtrabackup_binlog_info
-rw-r----- 1 root root 113 3月 22 02:15 xtrabackup_checkpoints #checkpoints信息 (複製時會以該文件對應的LSN號爲依據，將大於給定的LSN號的頁數據【增量數據】進行備份，由於要比對全備的LSN號，因此第一次增量備份是基於全備的，之後實施的每一次增量備份是基於上一次的增量備份。)
-rw-r----- 1 root root 556 3月 22 02:15 xtrabackup_info #xtrabackup信息
-rw-r----- 1 root root 2560 3月 22 02:15 xtrabackup_logfile #xtrabackup日誌文件

增量備份首先從xtrabackup_binlog_info文件中找到並記錄最後一個LSN，從LSN的位置開始複製InnoDB的redo日誌到Xtrabackup_logfile,而後開始複製所有數據文件.ibd，等到所有數據複製完成以後，就中止複製logfile。
增量備份與全備的過程基本相似，區別就是第二步，僅複製InnoDB中變化的頁數據，而非全部物理文件

增量備份

.....     #省略增長數據
innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --socket=/var/lib/mysql/mysql.sock --no-timestamp --incremental-basedir=/application/mysql/data/full --incremental /application/mysql/data/one_inc   #第一次增量備份基於全備目錄
.......... #繼續修改數據
innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --socket=/var/lib/mysql/mysql.sock --no-timestamp --parallel=3 --incremental-basedir=/application/mysql/data/one_inc --incremental /application/mysql/data/two_inc  #第二次增量備份基於第一次增量備份目錄

差別備份

它與增量備份不一樣點，就是每次都是基於全備。因此還原的時候，只要將還原點與全備合併就好。

.....     #省略增長數據
innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --socket=/var/lib/mysql/mysql.sock --no-timestamp --incremental-basedir=/application/mysql/data/full --incremental /application/mysql/data/one_inc   #第一次增量備份基於全備目錄
.......... #繼續修改數據
innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --socket=/var/lib/mysql/mysql.sock --no-timestamp --parallel=3 --incremental-basedir=/application/mysql/data/full --incremental /application/mysql/data/two_inc  #第二次增量備份基於全備目錄

數據庫出現故障

分析數據庫故障緣由

drop數據庫

cp -a /var/bin-log/binlog/* /application/mysql/logs  #移走binlog增量文件，防止被二次破壞

update

iptables -I input -p tcp --dport 3306 ! -s 本機Ip -j DROP #不是本機Ip禁止訪問數據庫
cp -a /var/bin-log/binlog/* /application/mysql/logs  #移走binlog增量文件，防止被二次破壞

恢復數據

數據恢復的步驟是先恢復全備目錄，而後恢復第一次增量數據，而後第二次，第三次......

非最後一次合併增量數據必定要加--read-only參數，只應用redo日誌恢復數據，而不執行undo回滾未提交的數據。等到最後一次增量備份合併完成以後再進行Undo日誌回滾數據。

若是是增量備份：全備和增量備份合併

innobackupex --apply-log --redo-only /application/mysql/data/full/ #應用redo日誌恢復全備數據
innobackupex --apply-log --redo-only --incremental-dir=/application/mysql/data/one_inc /application/mysql/data/full/   #合併第一次的增量數據到全備數據目錄
innobackupex --apply-log --redo-only --incremental-dir=/application/mysql/data/two_inc /application/mysql/data/full/   #合併第二次的增量數據到全備數據目錄
innobackupex --apply-log /application/mysql/data/full/  #取消--redo-only目的是應用Undo日誌回滾數據。爲最終恢復數據作準備。

若是是差別備份：全備和差別備份合併。只須要合併你想要的點。

innobackupex --apply-log --redo-only /application/mysql/data/full/ #應用redo日誌恢復全備數據
innobackupex --apply-log --redo-only --incremental-dir=/application/mysql/data/two_inc /application/mysql/data/full/   #想還原到第二次。就合併第二次的增量數據到全備數據目錄
innobackupex --apply-log /application/mysql/data/full/  #取消--redo-only目的是應用Undo日誌回滾數據。爲最終恢復數據作準備。

開始恢復binlog日誌數據

cat /application/mysql/data/two_inc/xtrabackup_binlog_info #查看最後一次增量/差別 的binlog位置信息。這個位置信息之後的binlog纔是咱們須要的，之前的數據在xtrabackup的全量和增量已經有了。假如結果爲bin.000001 486,那麼就是從bin.000001文件的486的位置點開始恢復增量數據。
ll /var/bin-log/binlog/bin.*      #看問題出現後的binlog，加入這條命令的結果有bin.000002,bin.000003......將上條命令的bin.000001以及以後的文件都是咱們須要恢復的
cd /var/bin-log/binlog
mysqlbinlog -d test bin.000001 bin.000002 bin.000003 --start-position=486 -r bin.sql  #用mysqlbinlog解析二進制數據導入到sql文件中,**-d後面加數據庫**，-r後面加要被寫入的sql文件


----------
若是是drop

grep -w drop bin.sql  #過濾掉drop單詞的行
sed -i '/drop database test/d' bin.sql  #刪除被drop數據庫的test語句
grep -w drop bin.sql


----------

正式恢復數據

service mysqld stop
ss -lnt|grep 3306
cd /application/mysql
mkdir -p /application/mysql/data_ori1
mv /var/lib/mysql/* /application/mysql/data_ori1
cd /var/lib/mysql
rm -rf *   #原始數據庫數據文件要爲空
mv /application/mysql/data/full/* /var/lib/mysql/  #full恢復過一次，不能使用第二次。
chown -R mysql.mysql /var/lib/mysql
service mysqld restart 
cd /var/bin-log/binlog
mysql test <bin.sql   #恢復binlog數據

自動化備份腳本

基礎配置腳本文件/root/mysql.sh

#! /bin/bash

HOSTNAME="localhost"
USERNAME="root"
PASSWORD="123456"
MYSQL=/usr/bin/mysql

DATAMYSQL=/var/lib/mysql
DATE=`date +%Y%m-%V`
BACKUPDIR=/application/mysql/data
SETMYSQL=/etc/my.cnf
SOCK=/var/lib/mysql/mysql.sock
INNOBACKUPEX=/usr/bin/innobackupex
[ ! -d $BACKUPDIR ] && mkdir $BACKUPDIR -p

全備份腳本文件

#! /bin/bash

source /root/mysql.sh
[ ! -d $BACKUPDIR/$DATE/full ] && mkdir -p $BACKUPDIR/$DATE/full && chmod -R 777 $BACKUPDIR/$DATE/full
$INNOBACKUPEX --defaults-file=$SETMYSQL --user=$USERNAME --password=$PASSWORD --socket=$SOCK --no-timestamp $BACKUPDIR/$DATE/full

增量備份腳本文件

#! /bin/bash

source /root/mysql.sh
I=0

[ ! -d $BACKUPDIR/$DATE/full ] && exit

for file in $( ls $BACKUPDIR/$DATE )
do
  let "J=(++I)";
done
if [ $J -eq 1 ];then
  BASEDIR=full
else
  BASEDIR=$[J-1]"_inc"
fi
NEWDIR=${J}"_inc"
$INNOBACKUPEX --defaults-file=$SETMYSQL --user=$USER --password=$PASSWORD --socket=$SOCK --no-timestamp --incremental-basedir=$BACKUPDIR/$DATE/$BASEDIR --incremental $BACKUPDIR/$DATE/$NEWDIR

差別備份腳本文件

#! /bin/bash

source /root/mysql.sh
I=0

[ ! -d $BACKUPDIR/$DATE/full ] && exit

for file in $( ls $BACKUPDIR/$DATE )
do
  let "J=(++I)";
done

NEWDIR=${J}"_inc"
$INNOBACKUPEX --defaults-file=$SETMYSQL --user=$USER --password=$PASSWORD --socket=$SOCK --no-timestamp --incremental-basedir=$BACKUPDIR/$DATE/full --incremental $BACKUPDIR/$DATE/$NEWDIR