MySQL 5.7 mysqlpump 備份工具說明

背景：

MySQL5.7以後多了一個備份工具：mysqlpump。它是mysqldump的一個衍生，mysqldump就很少說明了，如今看看mysqlpump到底有了哪些提高，能夠查看官方文檔，這裏針對如何使用作下說明。

mysqlpump和mysqldump同樣，屬於邏輯備份，備份以SQL形式的文本保存。邏輯備份相對物理備份的好處是不關心undo log的大小，直接備份數據便可。它最主要的特色是：

• 並行備份數據庫和數據庫中的對象的，加快備份過程。
• 更好的控制數據庫和數據庫對象（表，存儲過程，用戶賬戶）的備份。
• 備份用戶帳號做爲賬戶管理語句（CREATE USER，GRANT），而不是直接插入到MySQL的系統數據庫。
• 備份出來直接生成壓縮後的備份文件。
• 備份進度指示（估計值）。
• 從新加載（還原）備份文件，先建表後插入數據最後創建索引，減小了索引維護開銷，加快了還原速度。
  
• 備份能夠排除或則指定數據庫。

參數：絕大部分參數和mysqldump一致，順便複習一下。對於mysqlpump參數會用背景色    標記出來。

1：--add-drop-database：在創建庫以前先執行刪庫操做。

DROP DATABASE IF EXISTS `...`;

2：--add-drop-table：在建表以前先執行刪表操做。

DROP TABLE IF EXISTS `...`.`...`;

3：--add-drop-user：在CREATE USER語句以前增長DROP USER，注意：這個參數須要和--users一塊兒使用，否者不生效。

DROP USER 'backup'@'192.168.123.%';

4：--add-locks：備份表時，使用LOCK TABLES和UNLOCK TABLES。注意：這個參數不支持並行備份，須要關閉並行備份功能：--default-parallelism=0 

LOCK TABLES `...`.`...` WRITE;
...
UNLOCK TABLES;

5：--all-databases：備份全部庫，-A。

6：--bind-address：指定經過哪一個網絡接口來鏈接Mysql服務器（一臺服務器可能有多個IP），防止同一個網卡出去影響業務。

7：--complete-insert：dump出包含全部列的完整insert語句。

8：--compress： 壓縮客戶端和服務器傳輸的全部的數據，-C。

9：--compress-output：默認不壓縮輸出，目前可使用的壓縮算法有LZ4和ZLIB。

shell> mysqlpump --compress-output=LZ4 > dump.lz4
shell> lz4_decompress dump.lz4 dump.txt

shell> mysqlpump --compress-output=ZLIB > dump.zlib
shell> zlib_decompress dump.zlib dump.txt

10：--databases：手動指定要備份的庫，支持多個數據庫，用空格分隔，-B。

11：--default-character-set：指定備份的字符集。

12：--default-parallelism：指定並行線程數，默認是2，若是設置成0，表示不使用並行備份。注意：每一個線程的備份步驟是：先create table但不創建二級索引（主鍵會在create table時候創建），再寫入數據，最後創建二級索引。

13：--defer-table-indexes：延遲建立索引，直到全部數據都加載完以後，再建立索引，默認開啓。若關閉則會和mysqldump同樣：先建立一個表和全部索引，再導入數據，由於在加載還原數據的時候要維護二級索引的開銷，致使效率比較低。關閉使用參數：--skip--defer-table-indexes。

14：--events：備份數據庫的事件，默認開啓，關閉使用--skip-events參數。

15：--exclude-databases：備份排除該參數指定的數據庫，多個用逗號分隔。相似的還有--exclude-events、--exclude-routines、--exclude-tables、--exclude-triggers、--exclude-users。

mysqlpump --exclude-databases=mysql,sys    #備份過濾mysql和sys數據庫

mysqlpump --exclude-tables=rr,tt   #備份過濾全部數據庫中rr、tt表

mysqlpump -B test --exclude-tables=tmp_ifulltext,tt #備份過濾test庫中的rr、tt表
...

注意：要是隻備份數據庫的帳號，須要添加參數--users，而且須要過濾掉全部的數據庫，如：

mysqlpump --users --exclude-databases=sys,mysql,db1,db2 --exclude-users=dba,backup  #備份除dba和backup的全部帳號。

16：--include-databases：指定備份數據庫，多個用逗號分隔，相似的還有--include-events、--include-routines、--include-tables、--include-triggers、--include-users，大體方法使用同15。

17：--insert-ignore：備份用insert ignore語句代替insert語句。

18：--log-error-file：備份出現的warnings和erros信息輸出到一個指定的文件。

19：--max-allowed-packet：備份時用於client/server直接通訊的最大buffer包的大小。

20：--net-buffer-length：備份時用於client/server通訊的初始buffer大小，當建立多行插入語句的時候，mysqlpump 建立行到N個字節長。

21：--no-create-db：備份不寫CREATE DATABASE語句。要是備份多個庫，須要使用參數-B，而使用-B的時候會出現create database語句，該參數能夠屏蔽create database 語句。

22：--no-create-info：備份不寫建表語句，即不備份表結構，只備份數據，-t。

23：--hex-blob： 備份binary字段的時候使用十六進制計數法，受影響的字段類型有BINARY、VARBINARY、BLOB、BIT。

24：--host ：備份指定的數據庫地址，-h。

25：--parallel-schemas=[N:]db_list：指定並行備份的庫，多個庫用逗號分隔，若是指定了N，將使用N個線程的地隊列，若是N不指定，將由 --default-parallelism才確認N的值，能夠設置多個--parallel-schemas。

mysqlpump --parallel-schemas=4:vs,aa --parallel-schemas=3:pt   #4個線程備份vs和aa，3個線程備份pt。經過show processlist 能夠看到有7個線程。

mysqlpump --parallel-schemas=vs,abc --parallel-schemas=pt  #默認2個線程，即2個線程備份vs和abc，2個線程備份pt

####固然要是硬盤IO不容許的話，能夠少開幾個線程和數據庫進行並行備份

26：--password：備份須要的密碼。

27：--port ：備份數據庫的端口。

28：--protocol={TCP|SOCKET|PIPE|MEMORY}：指定鏈接服務器的協議。

29：--replace：備份出來replace into語句。

30：--routines：備份出來包含存儲過程和函數，默認開啓，須要對 mysql.proc表有查看權限。生成的文件中會包含CREATE PROCEDURE 和 CREATE FUNCTION語句以用於恢復，關閉則須要用--skip-routines參數。

31：--triggers：備份出來包含觸發器，默認開啓，使用--skip-triggers來關閉。

31：--set-charset：備份文件裏寫SET NAMES default_character_set 到輸出，此參默認開啓。 -- skip-set-charset禁用此參數，不會在備份文件裏面寫出set names...

32：--single-transaction：該參數在事務隔離級別設置成Repeatable Read，並在dump以前發送start transaction 語句給服務端。這在使用innodb時頗有用，由於在發出start transaction時，保證了在不阻塞任何應用下的一致性狀態。對myisam和memory等非事務表，仍是會改變狀態的，當使用此參的時候要確保沒有其餘鏈接在使用ALTER TABLE、CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE等語句，不然會出現不正確的內容或則失敗。--add-locks和此參互斥，在mysql5.7.11以前，--default-parallelism大於1的時候和此參也互斥，必須使用--default-parallelism=0。5.7.11以後解決了--single-transaction和--default-parallelism的互斥問題。

33：--skip-definer：忽略那些建立視圖和存儲過程用到的 DEFINER 和 SQL SECURITY 語句，恢復的時候，會使用默認值，不然會在還原的時候看到沒有DEFINER定義時的帳號而報錯。

34：--skip-dump-rows：只備份表結構，不備份數據，-d。注意：mysqldump支持--no-data，mysqlpump不支持--no-data

35：--socket：對於鏈接到localhost，Unix使用套接字文件，在Windows上是命名管道的名稱使用，-S。

36：--ssl：--ssl參數將要被去除，用--ssl-mode取代。關於ssl相關的備份，請看官方文檔。

37：--tz-utc：備份時會在備份文件的最前幾行添加SET TIME_ZONE='+00:00'。注意：若是還原的服務器不在同一個時區而且還原表中的列有timestamp字段，會致使還原出來的結果不一致。默認開啓該參數，用 --skip-tz-utc來關閉參數。

38：--user：備份時候的用戶名，-u。

39：--users：備份數據庫用戶，備份的形式是CREATE USER...，GRANT...，只備份數據庫帳號能夠經過以下命令：

mysqlpump --exclude-databases=% --users    #過濾掉全部數據庫

40：--watch-progress：按期顯示進度的完成，包括總數表、行和其餘對象。該參數默認開啓，用--skip-watch-progress來關閉。

使用說明：

mysqlpump的架構以下圖所示：

mysqlpump支持基於庫和表的並行導出，mysqlpump的並行導出功能的架構爲：隊列+線程，容許有多個隊列（--parallel-schemas？），每一個隊列下有多個線程（N？），而一個隊列能夠綁定1個或者多個數據庫（逗號分隔）。mysqlpump的備份是基於表並行的，對於每張表的導出只能是單個線程的，這裏會有個限制是若是某個數據庫有一張表很是大，可能大部分的時間都是消耗在這個表的備份上面，並行備份的效果可能就不明顯。這裏能夠利用mydumper其是以chunk的方式批量導出，即mydumper支持一張表多個線程以chunk的方式批量導出。可是相對於mysqldump仍是有了很大的提高。這裏大體測試下mysqlpump和mysqldump的備份效率。 

#mysqlpump壓縮備份vs數據庫 三個併發線程備份，消耗時間：222s
mysqlpump -uzjy -p -h192.168.123.70 --single-transaction --default-character-set=utf8 --compress-output=LZ4 --default-parallelism=3 -B vs > /home/zhoujy/vs_db.sql.lz4

#mysqldump備份壓縮vs數據庫 單個線程備份，消耗時間：900s，gzip的壓縮率比LZ4的高
mysqldump -uzjy -p -h192.168.123.70 --default-character-set=utf8 -P3306 --skip-opt --add-drop-table --create-options  --quick --extended-insert --single-transaction -B vs | gzip > /home/zhoujy/vs.sql.gz

#mydumper備份vs數據庫 三個併發線程備份，消耗時間：300s，gzip的壓縮率比LZ4的高
mydumper -u zjy -p  -h 192.168.123.70 -P 3306 -t 3 -c -l 3600 -s 10000000 -B vs -o /home/zhoujy/vs/

#mydumper備份vs數據庫，五個併發線程備份，而且開啓對一張表多個線程以chunk的方式批量導出，-r。消耗時間：180s
mydumper -u zjy -p  -h 192.168.123.70 -P 3306 -t 5 -c -r 300000 -l 3600 -s 10000000 -B vs -o /home/zhoujy/vs/

從上面看出，mysqlpump的備份效率是最快的，mydumper次之，mysqldump最差。因此在IO容許的狀況下，能用多線程就別用單線程備份。而且mysqlpump還支持多數據庫的並行備份，而mydumper要麼備份一個庫，要麼就備份全部庫。姜大神的Oracle官方並行邏輯備份工具mysqlpump這篇文章的測試結果也說明了mysqlpump比mysqldump的測試好。因爲實際狀況不一樣，測試給出的速度提高只是參考。到底開啓多少個並行備份的線程，這個看磁盤IO的承受能力，若該服務器只進行備份任務，能夠最大限制的來利用磁盤。

總結：

mysqldump和mysqlpump的使用方法絕大部分一致，mysqlpump新的參數文章上已經標明，到底用那種工具有份數據庫這個要在具體的環境下才能作出選擇，有些時候可能用物理備份更好（xtrabackup），總之根據須要進行測試，最後再決定使用哪一種備份工具進行備份。

參考文檔：

mysqlpump官方文檔

Oracle官方並行邏輯備份工具mysqlpump