第九章· MySQL的備份和恢復

一.備份的緣由

運維工做的核心簡單歸納就兩件事:

• 1）第一個是保護公司的數據.
• 2）第二個是讓網站能7*24小時提供服務(用戶體驗)。
  
  備份的緣由
• 1）備份就是爲了恢復。
• 2）儘可能減小數據的丟失（公司的損失）

二.備份的類型

1.冷備份:

這些備份在用戶不能訪問數據時進行，所以沒法讀取或修改數據。這些脫機備份會阻止執行任何使用數據的活動。這些類型的備份不會干擾正常運行的系統的性能。可是，對於某些應用程序，會沒法接受必須在一段較長的時間裏鎖定或徹底阻止用戶訪問數據。

2.溫備份:

這些備份在讀取數據時進行，但在多數狀況下，在進行備份時不能修改數據自己。這種中途備份類型的優勢是沒必要徹底鎖定最終用戶。可是，其不足之處在於沒法在進行備份時修改數據集，這可能使這種類型的備份不適用於某些應用程序。在備份過程當中沒法修改數據可能產生性能問題。

3.熱備份:

這些動態備份在讀取或修改數據的過程當中進行，不多中斷或者不中斷傳輸或處理數據的功能。使用熱備份時，系統仍可供讀取和修改數據的操做訪問。

三.備份的方式

1.邏輯備份:

基於SQL語句的備份

• 1）binlog
• 2）into outfile

mysql> select * from world.city into outfile '/tmp/world_city.data';

• 3）mysqldump
• 4）replication

2.物理備份:

基於數據文件的備份

• 1）Xtrabackup（percona公司）

四.備份策略

• 1）全量備份 full
• 2）增量備份 increamental

五.備份工具

1.備份工具

1）mysqldump（邏輯）
mysql原生自帶很好用的邏輯備份工具

2）mysqlbinlog（邏輯）
實現binlog備份的原生態命令

3）xtrabackup（物理）
precona公司開發的性能很高的物理備份工具

2.備份工具使用

2.1 mysqldump的備份

mysqldump經常使用參數

1）鏈接服務端參數(基本參數)：-u -p -h -P -S

2）-A, --all-databases：全庫備份

[root@db01 ~]# mysqldump -uroot -poldboy123 -A > /backup/full.sql

3）不加參數：單庫、單表多表備份

[root@db01 ~]# mysqldump -uroot -poldboy123 db1 > /backup/db1.sql
[root@mysql-db01 backup]# mysqldump -uroot -poldboy123 world city > /backup/city.sql

4）-B：指定庫備份

[root@db01 ~]# mysqldump -uroot -p123 -B db1 > /backup/db1.sql
[root@db01 ~]# mysqldump -uroot -p123 -B db1 db2 > /backup/db1_db2.sql

5）-F：flush logs在備份時自動刷新binlog（不怎麼經常使用）

[root@db01 backup]# mysqldump -uroot -p123 -A -R –triggers -F > /backup/full_2.sql

6）--master-data=2：備份時加入change master語句0沒有1不註釋2註釋

[root@db01 backup]# mysqldump -uroot -p123 --master-data=2 >/backup/full.sql

7）-d：僅表結構

8）-t：僅數據

備份額外擴展項

• 1）-R, --routines：備份存儲過程和函數數據
• 2）--triggers：備份觸發器數據

[root@db01 backup]# mysqldump -uroot -p123 -A -R --triggers > /backup/full_2.sql

mysqldump特殊參數

1）-x：鎖表備份（myisam溫備份）
2）--single-transaction：快照備份

[root@db01 backup]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 –single-transaction>/backup/full.sql
3) gzip:壓縮備份

[root@db01 ~]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 –single-transaction|gzip>/backup/full.sql.gz

mysqldump的恢復

#先不記錄二進制日誌
mysql> set sql_log_bin=0;
#庫內恢復操做
mysql> source /backup/full.sql
#庫外恢復操做
[root@db01 ~]# mysql -uroot -p123 < /backup/full.sql

注意：

• 1）mysqldump在備份和恢復時都須要MySQL實例啓動爲前提
• 2）通常數據量級100G之內，大約15-30分鐘能夠恢復（PB、EB就須要考慮別的方式）
• 3）mysqldump是以覆蓋的形式恢復數據的

2.2 企業故障恢復案例

背景：
正在運行的網站系統，MySQL數據庫，數據量25G，日業務增量10-15M。

備份策略：
天天23：00，計劃任務調用mysqldump執行全備腳本

故障時間點：
上午10點開發人員誤刪除一個核心業務表，如何恢復？

思路：

1）停業務避免數據的二次傷害
2）找一個臨時的庫，恢復前一天的全備
3）截取前一天23：00到次日10點誤刪除之間的binlog，恢復到臨時庫
4）測試可用性和完整性
5）開啓業務前的兩種方式
a.直接使用臨時庫頂替原生產庫，前端應用割接到新庫
b.將誤刪除的表單獨導出，而後導入到原生產環境
6）開啓業務

故障模擬演練：

準備數據：

#刷新binlog使內容更清晰
mysql> flush logs;
#查看當前使用的binlog
mysql> show master status;
#建立backup庫
mysql> create database backup;
#進入backup庫
mysql> use backup
#建立full表
mysql> create table full select * from world.city;
#建立full_1表
mysql> create table full_1 select * from world.city;
#查看錶
mysql> show tables;

全備：

[root@db01 ~]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F).sql.gz

模擬數據變化：

#進入backup庫
mysql> use backup
#建立new表
mysql> create table new select * from mysql.user;
#建立new_1表
mysql> create table new_1 select * from world.country;
#查看錶
mysql> show tables;
#查看full表中全部數據
mysql> select * from full;
#把full表中全部的countrycode都改爲CHN
mysql> update full set countrycode='CHN' where 1=1;
#提交
mysql> commit;
#刪除id大於200的數據
mysql> delete from full where id>200;
#提交
mysql> commit;

模擬故障：

#刪除new表
mysql> drop table new;
#查看錶
mysql> show tables;

恢復過程：

1）準備臨時數據庫

[root@db02 ~]# mysqld_safe --defaults-file=/data/3307/my.cnf &

2）拷貝數據到新庫上

[root@db02 ~]# scp /backup/full_2018-08-16.sql.gz root@10.0.0.52:/tmp

3）解壓全備數據文件

#進入tmp目錄
[root@db02 ~]# cd /tmp/
#解壓全備數據文件
[root@db02 tmp]# gzip -d full_2018-08-16.sql.gz
截取二進制
#查看全備的位置點（起始位置點）
[root@db02 tmp]# head -50 full_2018-08-16.sql |grep -i 'change master to'
#找到drop語句執行的位置點（結束位置點）
mysql> show binlog events in 'mysql-bin.000017';
#截取二進制
[root@db01 tmp]#mysqlbinlog -uroot -p123 --start-position=268002 --stop-position=671148 /application/mysql/data/mysql-bin.000017 > /tmp/inc.sql
#發送增量數據到新庫
[root@db01 tmp]# scp /tmp/inc.sql root@10.0.0.52:/tmp
在新庫內恢復數據
#不記錄二進制日誌
mysql> set sql_log_bin=0;
#恢復全備數據
mysql> source /tmp/full_2018-08-16.sql
#進入backup庫
mysql> use backup
# 查看錶
mysql> show tables;
#恢復增量數據
mysql> source /tmp/inc.sql
#查看錶
mysql> show tables;

4）將故障表導出並恢復到生產

#導出new表
[root@db02 ~]# mysqldump -uroot -p123 -S /data/3307/mysql.sock backup new > /tmp/new.sql
#發送到生產庫
[root@db02 ~]# scp /tmp/new.sql root@10.0.0.51:/tmp/
#進入backup庫
mysql> use backup
#在生產庫恢復數據
mysql> source /tmp/new.sql
#查看錶
mysql> show tables;

2.3 物理備份（Xtrabackup）

Xtrabackup安裝

#下載epel源
wget -O /etc/yum.repos.d/epel.repo  https://mirrors.aliyun.com/repo/epel-6.repo
#安裝依賴
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
#下載Xtrabackup
wget httpss://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

備份方式（物理備份）

• 1）對於非innodb表（好比myisam）是直接鎖表cp數據文件，屬於一種溫備。
• 2）對於innodb的表（支持事務），不鎖表，cp數據頁最終以數據文件方式保存下來，而且把redo和undo一併備走，屬於熱備方式。
• 3）備份時讀取配置文件/etc/my.cnf

2.3.1 全量備份

#全備
[root@db01 data]# innobackupex --user=root --password=123 /backup
#避免時間戳，自定義路徑名
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full
#查看備份路徑中的內容
[root@db01 backup]# ll /backup/full
#記錄binlog文件名和binlog的位置點
-rw-r-----  1 root root       21 Aug 16 06:23 xtrabackup_binlog_info 
#備份時刻，當即將已經commit過的內存中的數據頁刷新到磁盤
#備份時刻有可能會有其餘數據寫入，已備走的數據文件就不會再發生變化了
#在備份過程當中，備份軟件會一直監控着redo和undo，一旦有變化會將日誌一併備走
-rw-r-----  1 root root      117 Aug 16 06:23 xtrabackup_checkpoints
#備份彙總信息
-rw-r-----  1 root root      485 Aug 16 06:23 xtrabackup_info
#備份的redo文件
-rw-r-----  1 root root     2560 Aug 16 06:23 xtrabackup_logfile

全備的恢復

準備備份

將redo進行重作，已提交的寫到數據文件，未提交的使用undo回滾，模擬CSR的過程

[root@db01 full]# innobackupex --user=root --password=123 --apply-log /backup/full

恢復備份

前提1：被恢復的目錄是空的
前提2：被恢復的數據庫的實例是關閉的

#停庫
[root@db01 full]# /etc/init.d/mysqld stop
#進入mysql目錄
[root@db01 full]# cd /application/mysql
#刪除data目錄（在生產中能夠備份一下）
[root@db01 mysql]# rm -fr data/
#拷貝數據
[root@db01 mysql]# innobackupex --copy-back /backup/ful
#受權
[root@db01 mysql]# chown -R mysql.mysql /application/mysql/data/
#啓動MySQL
[root@db01 mysql]# /etc/init.d/mysqld start

2.3.2 增量備份及恢復

備份方式

• 1）基於上一次備份進行增量
• 2）增量備份沒法單獨恢復，必須基於全備進行恢復
• 3）全部增量必需要按順序合併到全備當中

#不使用以前的全備，執行一次全備
[root@mysql-db01 ~]#  innobackupex --user=root --password=123 --no-timestamp /backup/full

模擬數據變化

mysql> create database inc1;
mysql> use inc1
mysql> create table inc1_tab(id int);
mysql> insert into inc1_tab values(1),(2),(3);
mysql> commit;
mysql> select * from inc1_tab;

第一次增量備份

[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full/ /backup/inc1
參數說明:
--incremental：開啓增量備份功能
--incremental-basedir：上一次備份的路徑

再次模擬數據變化

mysql> create database inc2;
mysql> use inc2
mysql> create table inc2_tab(id int);
mysql> insert into inc2_tab values(1),(2),(3);
mysql> commit;

第二次增量備份

[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1/ /backup/inc2

增量恢復

#破壞數據
[root@db01 ~]# rm -fr /application/mysql/data/

準備備份

• 1）full+inc1+inc2
• 2）須要將inc1和inc2按順序合併到full中
• 3）分步驟進行--apply-log

第一步：在全備中apply-log時，只應用redo，不該用undo

[root@db01 ~]# innobackupex --apply-log --redo-only /backup/full/

第二步：合併inc1合併到full中，而且apply-log，只應用redo，不該用undo

[root@db01 ~]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc1/ /backup/full/

第三步：合併inc2合併到full中，redo和undo都應用

[root@db01 ~]# innobackupex --apply-log --incremental-dir=/backup/inc2/ /backup/full/

第四步：總體full執行apply-log，redo和undo都應用

[root@db01 mysql]# innobackupex --apply-log /backup/full/
copy-back
[root@db01 ~]# innobackupex --copy-back /backup/full/
[root@db01 ~]# chown -R mysql.mysql /application/mysql/data/
[root@db01 ~]# /etc/init.d/mysqld start

2.3.3 差別備份：

1）先作全備
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full
from_lsn = 0
to_lsn = 2539999813
2）模擬數據變化

mysql> create database chayi1;
Query OK, 1 row affected (0.00 sec)

mysql> use chayi1;
Database changed
mysql> create table chayi1(id int);
Query OK, 0 rows affected (0.03 sec)

mysql> insert into chayi1 values(1),(2);
Query OK, 2 rows affected (0.01 sec)
Records: 2  Duplicates: 0  Warnings: 0

mysql> commit;
Query OK, 0 rows affected (0.00 sec)

3）作差別備份
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full /backup/chayi1
from_lsn = 2539999813
to_lsn = 2540006274

4）模擬第二次數據變化
mysql> create database chayi2;
Query OK, 1 row affected (0.00 sec)

mysql> use chayi2
Database changed
mysql> create table chayi2(id int);
Query OK, 0 rows affected (0.02 sec)

mysql> insert into chayi2 values(1),(2),(3);
Query OK, 3 rows affected (0.00 sec)
Records: 3  Duplicates: 0  Warnings: 0

mysql> commit;
Query OK, 0 rows affected (0.01 sec)

5）第二次差別備份
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full /backup/chayi2
from_lsn = 2539999813
to_lsn = 2540011876

6）模擬數據損壞
[root@db01 ~]# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS! 
[root@db01 ~]# rm -fr /application/mysql/data/

7）恢復數據
    a）全備只作redo
    [root@db01 ~]# innobackupex --apply-log --redo-only /backup/full/
    b）合併最後一次差別備份，redo undo 都作
    [root@db01 ~]# innobackupex --apply-log --incremental-dir=/backup/chayi2/ /backup/full/
    c）全備作redo undo模擬CSR
    [root@db01 ~]# innobackupex --apply-log  /backup/full/
    d）執行copy-back恢復數據
    [root@db01 ~]# innobackupex --copy-back  /backup/full/
8）修改權限
[root@db01 ~]# chown -R mysql.mysql /application/mysql/data/
9）啓動數據庫
[root@db01 ~]# /etc/init.d/mysql start

思考:

企業級增量恢復實戰

背景：
某大型網站，mysql數據庫，數據量500G，每日更新量100M-200M

備份策略：
xtrabackup，每週六0:00進行全備，週一到週五及週日00:00進行增量備份。

故障場景：
週三下午2點出現數據庫意外刪除表操做。

如何恢復？？？