mysql備份

一.備份的緣由

運維工做的核心簡單歸納就兩件事:
1）第一個是保護公司的數據.
2）第二個是讓網站能7*24小時提供服務(用戶體驗)。

1）備份就是爲了恢復。
2）儘可能減小數據的丟失（公司的損失）

二.備份的類型

冷備份:
這些備份在用戶不能訪問數據時進行，所以沒法讀取或修改數據。這些脫機備份會阻止執行任何使用數據的活動。這些類型的備份不會干擾正常運行的系統的性能。可是，對於某些應用程序，會沒法接受必須在一段較長的時間裏鎖定或徹底阻止用戶訪問數據。

停庫,停服務,備份

溫備份:(鎖表)
這些備份在讀取數據時進行，但在多數狀況下，在進行備份時不能修改數據自己。這種中途備份類型的優勢是沒必要徹底鎖定最終用戶。可是，其不足之處在於沒法在進行備份時修改數據集，這可能使這種類型的備份不適用於某些應用程序。在備份過程當中沒法修改數據可能產生性能問題。

熱備份:
這些動態備份在讀取或修改數據的過程當中進行，不多中斷或者不中斷傳輸或處理數據的功能。使用熱備份時，系統仍可供讀取和修改數據的操做訪問。

三.備份的方式

邏輯備份:

基於SQL語句的備份

1）binlog
2）into outfile

mysql> select * from world.city into outfile '/tmp/world_city.data'; #配置文件中建立/tmp

3）mysqldump只支持全備
4）replication
5 ) mysqlbinlog

物理備份:

cp(停庫)

基於數據文件的備份

1）Xtrabackup（percona公司）

四.備份策略

1)全量備份 full
2)增量備份 increamental
3)差別備份

五.備份工具

1.邏輯

1)mysqldump（邏輯）
mysql原生自帶很好用的邏輯備份工具

2)mysqlbinlog（邏輯）
實現binlog備份的原生態命令

3)into outfile

4)replication

2.xtrabackup（物理）

precona公司開發的性能很高的物理備份工具

備份工具使用

mysqldump的備份

mysqldump經常使用參數

1）鏈接服務端參數(基本參數)：-u -p -h -P -S

2）-A, --all-databases：全庫備份

[root@db01 ~]# mysqldump -uroot -poldboy123 -A > /backup/full.sql

3）不加參數：單庫、單表多表備份

[root@db01 ~]# mysqldump -uroot -poldboy123 db1 > /backup/db1.sql
[root@mysql-db01 backup]# mysqldump -uroot -poldboy123 world city > /backup/city.sql

4）-B：指定庫備份或者多個庫

[root@db01 ~]# mysqldump -uroot -p123 -B db1 > /backup/db1.sql
[root@db01 ~]# mysqldump -uroot -p123 -B db1 db2 > /backup/db1_db2.sql

5）-F：flush logs在備份時自動刷新binlog（不怎麼經常使用）

[root@db01 backup]# mysqldump -uroot -p123 -A -R –triggers -F > /backup/full_2.sql

6）--master-data=2：備份時加入change master語句0沒有1不註釋2註釋

[root@db01 backup]# mysqldump -uroot -p123 --master-data=2 >/backup/full.sql

7）-d：僅表結構
8）-t：僅數據

備份額外擴展項

1）-R, --routines：備份存儲過程和函數數據
2）--triggers：備份觸發器數據

[root@db01 backup]# mysqldump -uroot -p123 -A -R --triggers > /backup/full_2.sql

mysqldump特殊參數

1）-x：鎖表備份（myisam溫備份）
2）--single-transaction：快照備份

[root@db01 backup]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 –single-transaction>/backup/$(date +%F)full.sql

3)gzip:壓縮備份

[root@db01 ~]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 –single-transaction|gzip>/backup/full_$(date +%F)_sql.gz

mysqldump的恢復

方法一:
#先不記錄二進制日誌
mysql> set sql_log_bin=0;
#庫內恢復操做,指定庫
mysql> source /backup/full.sql  
#庫外恢復操做,指定庫
[root@db01 ~]# mysql -uroot -p123 < /backup/full.sql

方法二:zcat  full_$(date +%F)_sql.gz | mysql -uroot -p1

注意：

1）mysqldump在備份和恢復時都須要MySQL實例啓動爲前提
2）通常數據量級100G之內，大約15-30分鐘能夠恢復（PB、EB就須要考慮別的方式-物理備份）
3）mysqldump是以覆蓋的形式恢復數據的

企業故障恢復案例

背景：
正在運行的網站系統，MySQL數據庫，數據量25G，日業務增量10-15M。

備份策略：
天天23：00，計劃任務調用mysqldump執行全備腳本

故障時間點：
上午10點開發人員誤刪除一個核心業務表，如何恢復？

思路：

1）停業務避免數據的二次傷害
2）找一個臨時的庫，恢復前一天的全備
3）截取前一天23：00到次日10點誤刪除之間的binlog，恢復到臨時庫
4）測試可用性和完整性
5）開啓業務前的兩種方式

a.直接使用臨時庫頂替原生產庫，前端應用割接到新庫
b.將誤刪除的表單獨導出，而後導入到原生產環境

6）開啓業務

故障模擬演練：

準備數據：

#刷新binlog使內容更清晰
mysql> flush logs;
#查看當前使用的binlog
mysql> show master status;
#建立backup庫
mysql> create database backup;
#進入backup庫
mysql> use backup
#建立full表
mysql> create table full select * from world.city;
#建立full_1表
mysql> create table full_1 select * from world.city;
#查看錶
mysql> show tables;

全備：

[root@db01 ~]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F).sql.gz

模擬數據變化：

#進入backup庫
mysql> use backup
#建立new表
mysql> create table new select * from mysql.user;
#建立new_1表
mysql> create table new_1 select * from world.country;
#查看錶
mysql> show tables;
#查看full表中全部數據
mysql> select * from full;
#把full表中全部的countrycode都改爲CHN
mysql> update full set countrycode='CHN' where 1=1;
#提交
mysql> commit;
#刪除id大於200的數據
mysql> delete from full where id>200;
#提交
mysql> commit;

模擬故障：

#刪除new表
mysql> drop table new;
#查看錶
mysql> show tables;

恢復過程：

==停業務,在停數據庫==

1）準備臨時數據庫

#多實例
[root@db02 ~]# mysqld_safe --defaults-file=/data/3307/my.cnf &

#新的服務(初始化一個新環境,二進制安裝mysql)
[root@db02 scripts]# ./mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/application/mysql/data 
[root@db02 scripts]# /etc/init.d/mysqld start

2）拷貝數據到新庫上

[root@db01 ~]# scp /backup/full_2018-08-16.sql.gz root@10.0.0.52:/tmp

3）解壓全備數據文件

#進入tmp目錄
[root@db02 ~]# cd /tmp/
#查詢全備的起始點
[root@db01 ~]# zcat /tmp/full_2019-11-13.sql.gz |head -25

-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000004', MASTER_LOG_POS=268002

#找到drop語句執行的位置點（結束位置點）
#方法一
[root@db01 data]# mysqlbinlog --base64-output=decode-rows -vvv /application/mysql/data/mysql-bin.000031|less
#按/搜索DROP
#方法二
[root@db01 data]# mysqlbinlog --base64-output=decode-rows -vvv /application/mysql/data/mysql-bin.000031|grep -i -B 5 'drop table' 
# at 408012
#191113 19:25:24 server id 1  end_log_pos 408135 CRC32 0xf636afe1   Querythread_id=3    exec_time=0 error_code=0
SET TIMESTAMP=1573644324/*!*/;
DROP TABLE `full_1` /* generated by server */
#方法三(數據大,很差查看)
mysql>show binary logs;
mysql>show binlog events in 'mysql-bin.000004';

#截取二進制
[root@db01 tmp]#mysqlbinlog -uroot -p1 --start-position=268002 --stop-position=671148 /application/mysql/data/mysql-bin.000017 > /tmp/inc.sql

#發送增量數據到新庫
[root@db01 tmp]# scp /tmp/inc.sql root@10.0.0.52:/tmp
在新庫內恢復數據
mysql>use +庫
#不記錄二進制日誌
mysql> set sql_log_bin=0;
#恢復全備數據
mysql> source /tmp/full_2018-08-16.sql
#庫外導入

mysql backup </tmp/inc.sql
#進入backup庫
mysql> use backup
# 查看錶
mysql> show tables;
#恢復增量數據
mysql> source /tmp/inc.sql
#查看錶
mysql> show tables;

4）將故障表導出並恢復到生產

#導出new表
[root@db02 ~]# mysqldump -uroot -p123 -S /data/3307/mysql.sock backup new > /tmp/new.sql
#發送到生產庫
[root@db02 ~]# scp /tmp/new.sql root@10.0.0.51:/tmp/
#進入backup庫
mysql> use backup
#在生產庫恢復數據
mysql>set sql_log_bin=0;
mysql> source /tmp/new.sql
#查看錶
mysql> show tables;

5)啓動服務

tomcat   php  ....

物理備份（Xtrabackup）

Xtrabackup安裝

#下載epel源
wget -O /etc/yum.repos.d/epel.repo  https://mirrors.aliyun.com/repo/epel-6.repo
#安裝依賴
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
#下載Xtrabackup
wget httpss://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

備份方式（物理備份）

1）對於非innodb表（好比myisam）是直接鎖表cp數據文件，屬於一種溫備。
2）對於innodb的表（支持事務），不鎖表，cp數據頁最終以數據文件方式保存下來，而且把redo和undo一併備走，屬於熱備方式。
3）備份時讀取配置文件/etc/my.cnf

全量備份

#全備
[root@db01 data]# innobackupex --user=root --password=123 /backup
#避免時間戳，自定義路徑名
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full
#查看備份路徑中的內容
[root@db01 backup]# ll /backup/full
#記錄binlog文件名和binlog的位置點
-rw-r-----  1 root root       21 Aug 16 06:23 xtrabackup_binlog_info 
#備份時刻，當即將已經commit過的內存中的數據頁刷新到磁盤
#備份時刻有可能會有其餘數據寫入，已備走的數據文件就不會再發生變化了
#在備份過程當中，備份軟件會一直監控着redo和undo，一旦有變化會將日誌一併備走
-rw-r-----  1 root root      117 Aug 16 06:23 xtrabackup_checkpoints
#備份彙總信息
-rw-r-----  1 root root      485 Aug 16 06:23 xtrabackup_info
#備份的redo文件
-rw-r-----  1 root root     2560 Aug 16 06:23 xtrabackup_logfile

全備的恢復

準備備份

將redo進行重作，已提交的寫到數據文件，未提交的使用undo回滾，模擬CSR的過程

[root@db01 full]# innobackupex --user=root --password=123 --apply-log /backup/full

恢復備份(==注意配置文件中指定basedir .datadir,sock, 客戶端指定sock路徑==)

前提1：被恢復的目錄是空的
前提2：被恢復的數據庫的實例是關閉的

#停庫
[root@db01 full]# /etc/init.d/mysqld stop
#進入mysql目錄
[root@db01 full]# cd /application/mysql
#刪除data目錄（在生產中能夠備份一下）
[root@db01 mysql]# rm -fr data/
#恢復redo跟undo文件
[root@db01 full]# innobackupex --user=root --password=123 --apply-log /backup/full
#拷貝數據(停庫不須要用戶跟密碼)
[root@db01 mysql]# innobackupex --copy-back /backup/ful

#受權
[root@db01 mysql]# chown -R mysql.mysql /application/mysql/data/
#啓動MySQL
[root@db01 mysql]# /etc/init.d/mysqld start

增量備份及恢復

備份方式

1）基於上一次備份進行增量
2）增量備份沒法單獨恢復，必須基於全備進行恢復
3）全部增量必需要按順序合併到全備當中

#不使用以前的全備，執行一次全備
[root@mysql-db01 ~]#  innobackupex --user=root --password=123 --no-timestamp /backup/full

模擬數據變化

mysql> create database inc1;
mysql> use inc1
mysql> create table inc1_tab(id int);
mysql> insert into inc1_tab values(1),(2),(3);
mysql> commit;
mysql> select * from inc1_tab;

第一次增量備份

[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full/ /backup/inc1
參數說明:
--incremental：開啓增量備份功能
--incremental-basedir：上一次備份的路徑

再次模擬數據變化

mysql> create database inc2;
mysql> use inc2
mysql> create table inc2_tab(id int);
mysql> insert into inc2_tab values(1),(2),(3);
mysql> commit;

第二次增量備份

[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1/ /backup/inc2

增量恢復

#破壞數據
[root@db01 ~]# rm -fr /application/mysql/data/

準備備份

1）full+inc1+inc2
2）須要將inc1和inc2按順序合併到full中
3）分步驟進行--apply-log

第一步：在全備中apply-log時，只應用redo，不該用undo

[root@db01 ~]# innobackupex --apply-log --redo-only /backup/full/

第二步：合併inc1合併到full中，而且apply-log，只應用redo，不該用undo

[root@db01 ~]# innobackupex --apply-log --redo-only --incremental-basedir=/backup/inc1/ /backup/full/

第三步：合併inc2合併到full中，redo和undo都應用

[root@db01 ~]# innobackupex --apply-log --incremental-basedir=/backup/inc2/ /backup/full/

第四步：總體full執行apply-log，redo和undo都應用

[root@db01 mysql]# innobackupex --apply-log /backup/full/
copy-back
[root@db01 ~]# innobackupex --copy-back /backup/full/
[root@db01 ~]# chown -R mysql.mysql /application/mysql/data/
[root@db01 ~]# /etc/init.d/mysqld start

差別備份

[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp /backup/full_1
backup_type = full-backuped
from_lsn = 0
to_lsn = 1025176220

#1.第一次差別備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --
incremental-basedir=/backup/full_1 /backup/chayi1
[root@db01 backup]# cat chayi1/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1025176220
to_lsn = 1025202474

#2.第二次差別備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --
incremental-basedir=/backup/full_1 /backup/chayi2
backup_type = incremental
from_lsn = 1025176220
to_lsn = 1025208985

#3.第三次差別備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --
incremental-basedir=/backup/full_1 /backup/chayi3

#4.第四次差別備份
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --
incremental-basedir=/backup/full_1 /backup/chayi4
backup_type = incremental
from_lsn = 1025176220
to_lsn = 1025234244

恢復數據

#1.停數據庫
[root@db01 backup]# /etc/init.d/mysqld stop

#2.刪除data目錄或者備份
[root@db01 backup]# rm -fr /application/mysql/data/*

#3.模擬CSR合併數據
full_1 + chayi1 + chayi2 + chayi3 + chayi4
1)full_1只作redo 不作undo
[root@db01 backup]# innobackupex --apply-log --redo-only /backup/full_1/
2)將chayi4合併到full_1 redo undo 都作
[root@db01 backup]# innobackupex --apply-log --incremental-dir=/backup/chayi4
/backup/full_1/
3)將full_1 redo undo 都作
[root@db01 backup]# innobackupex --apply-log /backup/full_1/

#4.copy back
[root@db01 backup]# innobackupex --copy-back /backup/full_1/
[root@db01 backup]# chown -R mysql.mysql /application/mysql/data/

模擬生產環境

#!/bin/bash
while true;do
mysql -uroot -p1 -e 'insert into mysqldump.mysqldump values(1);commit;'
sleep 2
done

優勢:

1.備份的時候,方便

2.恢復的時候也方便

缺點:

重複數據多,佔用磁盤空間大

思考:

企業級增量恢復實戰

背景：
某大型網站，mysql數據庫，數據量500G，每日更新量100M-200M

備份策略：
xtrabackup，每週六0:00進行全備，週一到週五及週日00:00進行增量備份。

故障場景：
週三下午2點出現數據庫意外刪除表操做。

如何恢復？？？

全量備份

1.全備
innobackupex --user=root --password=1 --no-timestamp /backup/full_$(data +%F-%H) 

2.增備
innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/backup/full_$(data +%F-%H) /backup/cre_$(date +%F-%H)

意外發生

週三下午2點出現數據庫意外刪除表操做。

解決辦法:

1準備新環境

2.停庫

==3.先備份,刪除/data目錄==(找尋截止點)

4.恢復數據

1最近的全備中執行apply-log 只應用redo
innobackupex --apply-log --redo-only /backup/full_$(data +%F-%H)
2.找尋週一,二晚上00:00的增量備份,合併
innobackupex --apply-log --redo-only --incremental-dir=/backup/cre_$(date +%F-%H) /backup/full_$(date +%F-%H)
3.redo.undo都應用
innobackupex --apply-log --incremental-basedir=cre_$(date +%F-%H) /backup/full_$(date +%F-%H)
4.總體全備執行
innobackupex --apply-log /backup/full_$(date +%F-%H)
5.copy-back
innobackupex --copy-back /backup/full_$(date +%F-%H)
6.受權
chown -R mysql.mysql  /application/mysql/data
7.啓動mydql
/etc/init.d/mysqld start

5.肯定起始點

[root@db01 full_2019-12-12-00]# cat xtrabackup_binlog_info 
mysql-bin.000001    15724

6.肯定截止點

mysqlbinlog --base64-output=decode-rows -vvv /application/mysql/data/mysql-bin.00000.1| grep -i -B 5'drop table'

7.截取binlog

mysqlbinlog -uroot -p1 --start-position=    --stop-position= /application/mysql/data/mysql-bin.00000.1 >/tmp/inc.sql

8.發送增量數據到新庫

scp /tmp/inc.sql root@10.0.0.52:/tmp

9.在新庫內恢復

mysql>use +庫
#不記錄二進制日誌
mysql> set sql_log_bin=0;
#恢復全備數據
mysql> source /tmp/full_2018-08-16.sql

10.恢復生產

修改連接代碼

11.啓動服務