mysqldumper

介紹

MySQL自身的mysqldump工具支持單線程工做，依次一個個導出多個表，沒有一個並行的機，這就使得它沒法迅速的備份數據。

mydumper做爲一個實用工具，可以良好支持多線程工做，能夠並行的多線程的從表中讀入數據並同時寫到不一樣的文件裏，這使得它在處理速度方面快於傳統的mysqldump。其特徵之一是在處理過程當中須要對列表加以鎖定，所以若是咱們須要在工做時段執行備份工做，那麼會引發DML阻塞。但通常如今的MySQL都有主從，備份也大部分在從上進行，因此鎖的問題能夠不用考慮。這樣，mydumper能更好的完成備份任務

下載安裝

    

yum -y install cmake glib2 pcre pcre-devel mysql-devel
wget https://launchpad.net/mydumper/0.6/0.6.2/+download/mydumper-0.6.2.tar.gz
tar xf  mydumper-0.6.2.tar.gz
cd mydumper-0.6.2
cmake .
make && make install
註釋：
安裝以後生成兩個二進制命令/usr/local/bin/mydumper（備份）和/usr/local/bin/myloader（恢復）
最新版本:https://github.com/maxbube/mydumper/archive/v0.9.1.tar.gz

mydumper 特性

    

• 多線程備份
• 由於是多線程邏輯備份，備份後會生成多個備份文件
• 備份時對MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會阻塞DML語句
• 保證備份數據的一致性
• 支持文件壓縮
• 支持導出binlog
• 支持多線程恢復
• 支持以守護進程模式工做，定時快照和連續二進制日誌
• 支持將備份文件切塊

mydumper備份機制

 

主要步驟歸納

1. 主線程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖，以阻止DML語句寫入，保證數據的一致性
2. 讀取當前時間點的二進制日誌文件名和日誌寫入的位置並記錄在metadata文件中，以供即便點恢復使用
3. N個（線程數能夠指定，默認是4）dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啓讀一致的事物
4. dump non-InnoDB tables, 首先導出非事物引擎的表
5. 主線程 UNLOCK TABLES 非事物引擎備份完後，釋放全局只讀鎖
6. dump InnoDB tables, 基於事物導出InnoDB表
7. 事務結束

備份所生成的文件

1. 全部的備份文件在一個目錄中，目錄能夠本身指定
2. 目錄中包含一個metadata文件

記錄了備份數據庫在備份時間點的二進制日誌文件名，日誌的寫入位置，
若是是在從庫進行備份，還會記錄備份時同步至從庫的二進制日誌文件及寫入位置

3. 每一個表有兩個備份文件：

database.table-schema.sql 表結構文件
database.table.sql 表數據文件
若是對錶文件分片，將生成多個備份數據文件，能夠指定行數或指定大小分片

mydumper參數詳解

-B, --database              要備份的數據庫，不指定則備份全部庫
-T, --tables-list           須要備份的表，名字用逗號隔開
-o, --outputdir             備份文件輸出的目錄
-s, --statement-size        生成的insert語句的字節數，默認1000000
-r, --rows                  將表按行分塊時，指定的塊行數，指定這個選項會關閉 --chunk-filesize
-F, --chunk-filesize        將表按大小分塊時，指定的塊大小，單位是 MB
-c, --compress              壓縮輸出文件
-e, --build-empty-files     若是表數據是空，仍是產生一個空文件（默認無數據則只有表結構文件）
-x, --regex                 是同正則表達式匹配 'db.table'
-i, --ignore-engines        忽略的存儲引擎，用逗號分割
-m, --no-schemas            不備份表結構
-k, --no-locks              不使用臨時共享只讀鎖，使用這個選項會形成數據不一致
--less-locking              減小對InnoDB表的鎖施加時間（減小鎖等待的時間）
-l, --long-query-guard      設定阻塞備份的長查詢超時時間，單位是秒，默認是60秒（超時後默認mydumper將會退出）
--kill-long-queries         殺掉長查詢 (不退出)
-b, --binlogs               導出binlog
-D, --daemon                啓用守護進程模式，守護進程模式以某個間隔不間斷對數據庫進行備份
-I, --snapshot-interval     dump快照間隔時間，默認60s，須要在daemon模式下
-L, --logfile               使用的日誌文件名(mydumper所產生的日誌), 默認使用標準輸出
--tz-utc                    跨時區是使用的選項，不解釋了
--skip-tz-utc               同上
--use-savepoints            使用savepoints來減小採集metadata所形成的鎖時間，須要 SUPER 權限
--success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
-h, --host                  鏈接的主機名
-u, --user                  備份所使用的用戶
-p, --password              密碼
-P, --port                  端口
-S, --socket                使用socket通訊時的socket文件
-t, --threads               開啓的備份線程數，默認是4
-C, --compress-protocol     壓縮與mysql通訊的數據
-V, --version               顯示版本號
-v, --verbose               輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲 2

myloader參數詳解

-d, --directory                   備份文件的目錄
-q, --queries-per-transaction     每次事物執行的查詢數量，默認是1000
-o, --overwrite-tables            若是要恢復的表存在，則先drop掉該表，使用該參數，須要備份時候要備份表結構
-B, --database                    須要還原的數據庫
-e, --enable-binlog               啓用還原數據的二進制日誌
-h, --host                        主機
-u, --user                        還原的用戶
-p, --password                    密碼
-P, --port                        端口
-S, --socket                      socket文件
-t, --threads                     還原所使用的線程數，默認是4
-C, --compress-protocol           壓縮協議
-V, --version                     顯示版本
-v, --verbose                     輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲2

使用案例

1.導出test庫下面的table1和table2表結構和數據
/usr/local/bin/mydumper  -h 10.1.1.1 -u root -p root -B test1 -T table1,table2  -t 8 -r 100000 -c --less-locking  -v 3 -D -L /var/log/mydumper.log   -o /geekwolf/test_table1_table2/
若只導出數據增長-m參數
2.將導出的數據導入到10.1.1.2服務器的test2庫中
/usr/local/bin/myloader   -h 10.1.1.2 -u root -p root  -B test2 -e -t 8  -d /geekwolf/test_table1_table2/ --overwrite-tables -v 3

註釋 :後臺記錄導出導入的時間

輸入screen命令
而後(time myloader   -h 10.1.1.2 -u user  -p 'ap' -B mnew_gz -e -t 8  -d /geekwolf/m_members/ --overwrite-tables -v 3) 2>/geekwolf/im.log
最後Ctrl+A+D