MySQL多線程備份工具Mydumper詳解

Mydumper介紹

MySQL在備份方面包含了自身的mysqldump工具，但其只支持單線程工做，這就使得它沒法迅速的備份數據。而mydumper做爲一個實用工具，可以良好支持多線程工做，這使得它在處理速度方面十倍於傳統的mysqldump。其特徵之一是在處理過程當中須要對列表加以鎖定，所以若是咱們須要在工做時段執行備份工做，那麼會引發DML阻塞。但通常如今的MySQL都有主從，備份也大部分在從上進行，因此鎖的問題能夠不用考慮。這樣mydumper能更好的完成備份任務。

Mydumper是一個針對MySQL和Drizzle的高性能多線程備份和恢復工具，開發人員主要來自MySQL,Facebook,SkySQL公司。

Mydumper特性

輕量級C語言寫的
執行速度比mysqldump快10倍
事務性和非事務性表一致的快照(適用於0.2.2以上版本)
快速的文件壓縮
支持導出binlog(新版本里已經不能備份binlog)
支持將備份文件切塊
多線程備份(由於是多線程邏輯備份，備份後會生成多個備份文件)
多線程恢復(適用於0.2.1以上版本)
備份時對MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會阻塞DML語句
以守護進程的工做方式，定時快照和連續二進制日誌(適用於0.5.0以上版本)
開源 (GNU GPLv3)

Mydumper項目地址: https://launchpad.net/mydumper/

Mydumper備份機制

Mydumper工做流程圖

主要步驟歸納

• 主線程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖，以阻止DML語句寫入，保證數據的一致性

• 讀取當前時間點的二進制日誌文件名和日誌寫入的位置並記錄在metadata文件中，以供即便點恢復使用

• N個（線程數能夠指定，默認是4）dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啓讀一致的事物

• dump non-InnoDB tables, 首先導出非事物引擎的表

• 主線程 UNLOCK TABLES 非事物引擎備份完後，釋放全局只讀鎖

• dump InnoDB tables, 基於事物導出InnoDB表

• 事物結束

Mydumper的less locking模式

Mydumper使用--less-locking能夠減小鎖等待時間，此時mydumper的執行機制大體爲

• 主線程 FLUSH TABLES WITH READ LOCK(全局鎖)

• Dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT;

• LL Dump線程 LOCK TABLES non-InnoDB(線程內部鎖)

• 主線程UNLOCK TABLES

• LL Dump線程 dump non-InnoDB tables

• LL DUmp線程 UNLOCK non-InnoDB

• Dump線程 dump InnoDB tables

Mydumper備份所生成的文件

全部的備份文件在一個目錄中，目錄能夠本身指定。

目錄中包含一個metadata文件

• 記錄了備份數據庫在備份時間點的二進制日誌文件名，日誌的寫入位置，若是是在從庫進行備份，還會記錄備份時同步至主庫的二進制日誌文件及寫入位置

每一個表有兩個備份文件

• database.table-schema.sql 表結構文件

• database.table.sql 表數據文件

• 若是對錶文件分片，將生成多個備份數據文件，能夠指定行數或指定大小分片

binary logs(新版已廢棄)

啓用--binlogs選項後，二進制文件存放在binlog_snapshot目錄下

daemon mode

• 在這個模式下，有五個目錄0、一、binlogs、binlog_snapshot、last_dump。

• 備份目錄是0和1，間隔備份，若是mydumper因某種緣由失敗而仍然有一個好的快照，當快照完成後，last_dump指向該備份。

Mydumper安裝

Mydumper使用C語言編寫，使用glibc庫。mydumper安裝所依賴的軟件包：glibc、 zlib、 pcre、 pcre-devel、 gcc、 gcc-c++、cmake、make、mysql客戶端庫文件。

安裝依賴包

• Centos

$ yum install glib2-devel mysql-devel zlib-devel pcre-devel cmake

• Ubuntu

$ apt-get cmake make install libglib2.0-dev libmysqlclient15-dev zlib1g-dev libpcre3-dev g++

編譯安裝

$ wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
$ tar xzvf mydumper-0.9.1.tar.gz
$ cd mydumper-0.9.1
$ cmake .
$ make
$ make install

安裝完成後生成兩個二進制文件mydumper和myloader位於/usr/local/bin目錄下

檢查版本

$ mydumper -V                    
mydumper 0.9.1, built against MySQL 5.6.29

$ myloader -V
myloader 0.9.1, built against MySQL 5.6.29

Mydumper使用

Mydumper主要有如下兩個命令：mydumper用於備份，myloader用於恢復。

mydumper命令一覽

$ mydumper --help

Usage:
  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:
  -?, --help                  Show help options

-B, --database              要備份的數據庫，不指定則備份全部庫
-T, --tables-list           須要備份的表，名字用逗號隔開
-o, --outputdir             備份文件輸出的目錄
-s, --statement-size        生成的insert語句的字節數，默認1000000(這個參數不能過小，否則會報 Row bigger than statement_size for tools.t_serverinfo)
-r, --rows                  將表按行分塊時，指定的塊行數，指定這個選項會關閉 --chunk-filesize
-F, --chunk-filesize        將表按大小分塊時，指定的塊大小，單位是 MB
-c, --compress              壓縮輸出文件
-e, --build-empty-files     若是表數據是空，仍是產生一個空文件（默認無數據則只有表結構文件）
-x, --regex                 支持正則表達式匹配'db.table',如mydumper –regex '^(?!(mysql|test))'
-i, --ignore-engines        忽略的存儲引擎，用都厚分割
-m, --no-schemas            不備份表結構
-d, --no-data               不備份表數據
-G, --triggers              不備份觸發器
-E, --events                不備份事件
-R, --routines              不備份存儲過程和函數
-k, --no-locks              不使用臨時共享只讀鎖，使用這個選項會形成數據不一致
--less-locking              減小對InnoDB表的鎖施加時間（這種模式的機制下文詳解）
-l, --long-query-guard      設定阻塞備份的長查詢超時時間，單位是秒，默認是60秒（超時後默認mydumper將會退出）
--kill-long-queries         殺掉長查詢 (不退出)
-b, --binlogs               導出binlog
-D, --daemon                啓用守護進程模式，守護進程模式以某個間隔不間斷對數據庫進行備份
-I, --snapshot-interval     dump快照間隔時間，默認60s，須要在daemon模式下
-L, --logfile               使用的日誌文件名(mydumper所產生的日誌), 默認使用標準輸出
--tz-utc                    設置時區，只有備份應用到不一樣時區的時使用。默認是--skip-tz-utc是關閉的
--skip-tz-utc               同上
--use-savepoints            使用savepoints來減小採集metadata所形成的鎖時間，須要 SUPER 權限
--success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
-h, --host                  鏈接的主機名
-u, --user                  備份所使用的用戶
-p, --password              密碼
-P, --port                  端口
-S, --socket                使用socket通訊時的socket文件
-t, --threads               開啓的備份線程數，默認是4
-C, --compress-protocol     壓縮與mysql通訊的數據
-V, --version               顯示版本號
-v, --verbose               輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲 2
--lock-all-tables           鎖全表，代替FLUSH TABLE WITH READ LOCK
-U, --updated-since         Use Update_time to dump only tables updated in the last U days
--trx-consistency-only      Transactional consistency only

myloader命令一覽

$ myloader --help
Usage:
  myloader [OPTION...] multi-threaded MySQL loader 

-d, --directory                   備份文件的文件夾
-q, --queries-per-transaction     每次事物執行的查詢數量，默認是1000
-o, --overwrite-tables            若是要恢復的表存在，則先drop掉該表，使用該參數，須要備份時候要備份表結構
-B, --database                    須要還原的數據庫
-s, --source-db                   還原的數據庫
-e, --enable-binlog               啓用還原數據的二進制日誌
-h, --host                        主機
-u, --user                        還原的用戶
-p, --password                    密碼
-P, --port                        端口
-S, --socket                      socket文件
-t, --threads                     還原所使用的線程數，默認是4
-C, --compress-protocol           壓縮協議
-V, --version                     顯示版本
-v, --verbose                     輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲2

Mydumper實例

備份實例

備份wordpress庫到/var/backup/wordpress文件夾中，並壓縮備份文件

$ mydumper -u root -p root -h localhost -B wordpress -c -o /var/backup/wordpress

備份全部數據庫，並備份二進制日誌文件，備份至/var/backup/alldb文件夾

$ mydumper -u root -p root -h localhost -o /var/backup/alldb

備份wordpress.wp_posts表，且不備份表結構，備份至/var/backup/wordpress-01文件夾

$ mydumper -u root -p root -h localhost -B wordpress -T wp_posts -m -o /var/backup/wordpress-01

只導出數據不導出表結構

$ mydumper -h 127.0.0.1 -u root -p root --database wordpress --no-schemas

不指定輸出目錄會在當前目錄下生成一個以當前時間命名的目錄，相似export-20160517-114713

默認無數據則只有表結構文件，加上--build-empty-files參數後，即便是一張空表，仍然會建立一個文件。

$ mydumper -h 127.0.0.1 -u root -p root --build-empty-files

設置長查詢的上限，若是存在比這個還長的查詢則退出mydumper，也能夠設置殺掉這個長查詢

$ mydumper -h 127.0.0.1 -u root -p root --long-query-guard 300 --kill-long-queries

實現此功能須要指定--long-query-guard參數，後面加上限值便可。同時殺掉長查詢，須要指定--kill-long-queries參數。

設置須要導出的列表-–tables-list，逗號分割

$ mydumper -h 127.0.0.1 -u root -p root --tables-list=test.mt_test,robin.test

只備份t_task和t_guid表

$ mydumper --database=tools --outputdir=/var/backup/tools/ --tables-list=t_task,t_guid

注意此參數須要加上數據庫名字。執行完成後，在導出目錄便可看到上述兩張表的表結構以及數據。

經過regex設置正則表達式，須要設置數據庫名字

$ mydumper -h 127.0.0.1 -u root -p root --regex="beebol.*|tools.*"

此功能跟上面的-–tables-list相似。

只備份以t_server開頭的表

$ mydumper --database=tools --outputdir=/var/backup/tools/ --regex="tools.t_server*"

備份出了名稱爲tmp.*的表，並壓縮備份文件

$ mydumper -u root -p 123456 -P 3306 -m -c -b --regex=tmp.* -B test -o /var/backup/tmp/

只備份abc、bcd、cde庫

$ mydumper -u backup -p 123456  -h 192.168.180.13 -P 3306 -t 3 -c -l 3600 -s 10000000 -e --regex 'abc|bcd|cde' -o bbb/

不備份abc、mysql、test數據庫

$ mydumper -u backup -p 123456  -h 192.168.180.13 -P 3306 -t 3 -c -l 3600 -s 10000000 -e --regex '^(?!(abc|mysql|test))' -o bbb/

把單表分紅多個chunks

$ mydumper -h 127.0.0.1 -u root -p root --rows 2000

實現此功能，加上--rows參數。若是一張表的記錄數超過設置的值，則這張表會拆分紅多個SQL文件，命名規則以下：數據庫名.表名.0000x.sql，x 從 0 開始。

過濾某個引擎的表

$ mydumper -h 127.0.0.1 -u root -p root -B test --ignore-engines=innodb

加上--ignore-engines參數後，指定的存儲引擎就會被過濾，亦即不導出指定存儲引擎的表。

查看詳細日誌

$ mydumper -h 127.0.0.1 -u root -p root -B test -v 3

加上-v參數便可查看日誌，取值能夠是 0、一、二、3，分別表示靜默模式、只輸出錯誤、只輸出警告、詳細信息，默認取值是2。

指定導出線程數

$ mydumper -h 127.0.0.1 -u root -p root -B test --threads 10

mydumper是多線程的。加上--threads參數後，能夠指定線程數，若是導出的數據較多，建議指定此參數，而且設置一個合理的值。另外，加上此參數，明顯導出速度快了不少，這就是多線程的優點。固然，多線程確定會消耗更多的系統資源。

後臺運行

$ mydumper -h 127.0.0.1 -u root -p root -B test --daemon

壓縮導出的SQL文件

$ mydumper -h 127.0.0.1 -u root -p root -B test --compress

壓縮後的SQL文件以.gz 結尾。咱們可使用gunzip命令來解壓。具體用法是：gunzip –c filename.gz > filename

遠程備份

$ mydumper -h 遠程服務器地址 -u root -p root -o /var/backup/mydumper -v 3 -c 9 -C -e -t 8

還原實例

$ myloader -u root -p root -h localhost -B wordpress -d /var/backup/wordpress

還原到另外一臺服務器

$ myloader -u root -p 123456 -h 192.168.200.25 -P 3307 -B wordpress -d /var/backup/wordpress

如表存在先刪除

$ myloader -u root -p 123456 -h 192.168.200.25 -P 3306 -o -B wordpress -d /var/backup/wordpress

這裏須要注意使用該參數，備份目錄裏面須要有表結構的備份文件。