使用mysqlbinlog提取二進制日誌

MySQL binlog日誌記錄了MySQL數據庫從啓用日誌以來全部對當前數據庫的變動。binlog日誌屬於二進制文件，咱們能夠從binlog提取出來生成可閱讀的SQL語句來重建當前數據庫以及根據須要實現時點恢復或不徹底恢復。本文主要描述了若是提取binlog日誌，並給出相關示例。

有關binlog的介紹與描述請參考：MySQL 二進制日誌(Binary Log)  http://www.linuxidc.com/Linux/2014-10/107664.htm

一、提取mysqlbinlog的幾種方式

a、使用show binlog events方式能夠獲取當前以及指定binlog的日誌，不適宜提取大量日誌。

b、使用mysqlbinlog命令行提取(適宜批量提取日誌)。

二、演示show binlog events方式

mysql> show variables like 'version';
+---------------+------------+
| Variable_name | Value      |
+---------------+------------+
| version      | 5.6.12-log |
+---------------+------------+

mysql> show binary logs;
+-----------------+-----------+
| Log_name        | File_size |
+-----------------+-----------+
| APP01bin.000001 |      120 |
+-----------------+-----------+

a、只查看第一個binlog文件的內容(show binlog events) 
mysql> use replication;
Database changed
mysql> select * from tb;
+------+-------+
| id  | val  |
+------+-------+
|    1 | robin |
+------+-------+

mysql> insert into tb values(2,'jack');
Query OK, 1 row affected (0.02 sec)

mysql> flush logs;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into tb values(3,'fred');
Query OK, 1 row affected (0.00 sec)

mysql> show binary logs;
+-----------------+-----------+
| Log_name        | File_size |
+-----------------+-----------+
| APP01bin.000001 |      409 |
| APP01bin.000002 |      363 |
+-----------------+-----------+

mysql> show binlog events;
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
| Log_name        | Pos | Event_type  | Server_id | End_log_pos | Info                                              |
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
| APP01bin.000001 |  4 | Format_desc |        11 |        120 | Server ver: 5.6.12-log, Binlog ver: 4              |
| APP01bin.000001 | 120 | Query      |        11 |        213 | BEGIN                                              |
| APP01bin.000001 | 213 | Query      |        11 |        332 | use `replication`; insert into tb values(2,'jack') |
| APP01bin.000001 | 332 | Xid        |        11 |        363 | COMMIT /* xid=382 */                              |
| APP01bin.000001 | 363 | Rotate      |        11 |        409 | APP01bin.000002;pos=4                              |
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
-- 在上面的結果中第3行能夠看到咱們執行的SQL語句，第4行爲自動提交
-- Author : Leshami
-- Blog  : http://blog.csdn.net/leshami

b、查看指定binlog文件的內容(show binlog events in 'binname.xxxxx')
mysql> show binlog events in 'APP01bin.000002';
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
| Log_name        | Pos | Event_type  | Server_id | End_log_pos | Info                                              |
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
| APP01bin.000002 |  4 | Format_desc |        11 |        120 | Server ver: 5.6.12-log, Binlog ver: 4              |
| APP01bin.000002 | 120 | Query      |        11 |        213 | BEGIN                                              |
| APP01bin.000002 | 213 | Query      |        11 |        332 | use `replication`; insert into tb values(3,'fred') |
| APP01bin.000002 | 332 | Xid        |        11 |        363 | COMMIT /* xid=394 */                              |
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+

c、查看當前正在寫入的binlog文件(show master status\G) 
mysql> show master status\G
*************************** 1. row ***************************
            File: APP01bin.000002
        Position: 363
    Binlog_Do_DB: 
 Binlog_Ignore_DB: 
Executed_Gtid_Set: 
1 row in set (0.00 sec)

d、獲取指定位置binlog的內容(show binlog events from) 
mysql> show binlog events from 213;
+-----------------+-----+------------+-----------+-------------+----------------------------------------------------+
| Log_name        | Pos | Event_type | Server_id | End_log_pos | Info                                              |
+-----------------+-----+------------+-----------+-------------+----------------------------------------------------+
| APP01bin.000001 | 213 | Query      |        11 |        332 | use `replication`; insert into tb values(2,'jack') |
| APP01bin.000001 | 332 | Xid        |        11 |        363 | COMMIT /* xid=382 */                              |
| APP01bin.000001 | 363 | Rotate    |        11 |        409 | APP01bin.000002;pos=4                              |
+-----------------+-----+------------+-----------+-------------+----------------------------------------------------+

三、演示mysqlbinlog方式提取binlog

a、提取指定的binlog日誌
# mysqlbinlog /opt/data/APP01bin.000001
# mysqlbinlog /opt/data/APP01bin.000001|grep insert
/*!40019 SET @@session.max_insert_delayed_threads=0*/;
insert into tb values(2,'jack')

b、提取指定position位置的binlog日誌
# mysqlbinlog --start-position="120" --stop-position="332" /opt/data/APP01bin.000001

c、提取指定position位置的binlog日誌並輸出到壓縮文件
# mysqlbinlog --start-position="120" --stop-position="332" /opt/data/APP01bin.000001 |gzip >extra_01.sql.gz

d、提取指定position位置的binlog日誌導入數據庫
# mysqlbinlog --start-position="120" --stop-position="332" /opt/data/APP01bin.000001 | mysql -uroot -p

e、提取指定開始時間的binlog並輸出到日誌文件
# mysqlbinlog --start-datetime="2014-12-15 20:15:23" /opt/data/APP01bin.000002 --result-file=extra02.sql

f、提取指定位置的多個binlog日誌文件
# mysqlbinlog --start-position="120" --stop-position="332" /opt/data/APP01bin.000001 /opt/data/APP01bin.000002|more

g、提取指定數據庫binlog並轉換字符集到UTF8
# mysqlbinlog --database=test --set-charset=utf8 /opt/data/APP01bin.000001 /opt/data/APP01bin.000002 >test.sql

h、遠程提取日誌，指定結束時間 
# mysqlbinlog -urobin -p -h192.168.1.116 -P3306 --stop-datetime="2014-12-15 20:30:23" --read-from-remote-server mysql-bin.000033 |more

i、遠程提取使用row格式的binlog日誌並輸出到本地文件
# mysqlbinlog -urobin -p -P3606 -h192.168.1.177 --read-from-remote-server -vv inst3606bin.000005 >row.sql

四、獲取mysqlbinlog的幫助信息(僅列出經常使用選項)
-?, --help
  顯示幫助消息並退出。

-d, --database=name
  只列出該數據庫的條目(只適用本地日誌)。

-f, --force-read
  使用該選項，若是mysqlbinlog讀它不能識別的二進制日誌事件，它會打印警告，忽略該事件並繼續。沒有該選項，若是mysqlbinlog讀到此類事件則中止。

-h, --host=name
  獲取給定主機上的MySQL服務器的二進制日誌。

-l, --local-load=name
  爲指定目錄中的LOAD DATA INFILE預處理本地臨時文件。

-o, --offset=# 
  跳過前N個條目。

-p, --password[=name]
  當鏈接服務器時使用的密碼。若是使用短選項形式(-p)，選項和密碼之間不能有空格。 
  若是在命令行中–password或-p選項後面沒有密碼值，則提示輸入一個密碼。

-P, --port=# 
  用於鏈接遠程服務器的TCP/IP端口號。

--protocol=name
  使用的鏈接協議。

-R, --read-from-remote-server|--read-from-remote-master=name
  從MySQL服務器讀二進制日誌。若是未給出該選項，任何鏈接參數選項將被忽略，即鏈接到本地。
  這些選項是–host、–password、–port、–protocol、–socket和–user。

-r, --result-file=name 
  將輸出指向給定的文件。

-s, --short-form
  只顯示日誌中包含的語句，不顯示其它信息，該方式能夠縮小生成sql文件的尺寸。

-S, --socket=name
  用於鏈接的套接字文件。

--start-datetime=name
  從二進制日誌中讀取等於或晚於datetime參量的事件，datetime值相對於運行mysqlbinlog的機器上的本地時區。
  該值格式應符合DATETIME或TIMESTAMP數據類型。例如：2004-12-25 11:25:56 ，建議使用引號標識。

--stop-datetime=name
  從二進制日誌中讀取小於或等於datetime的全部日誌事件。關於datetime值的描述參見--start-datetime選項。

-j, --start-position=# 
  從二進制日誌中第1個位置等於N參量時的事件開始讀。

--stop-position=#
  從二進制日誌中第1個位置等於和大於N參量時的事件起中止讀。

--server-id=#  
  僅僅提取指定server_id的binlog日誌

--set-charset=name 
  添加SET NAMES character_set到輸出      
                
-t, --to-last-log 
  在MySQL服務器中請求的二進制日誌的結尾處不中止，而是繼續打印直到最後一個二進制日誌的結尾。
  若是將輸出發送給同一臺MySQL服務器，會致使無限循環。該選項要求–read-from-remote-server。

-D, --disable-log-bin
  禁用二進制日誌。若是使用–to-last-logs選項將輸出發送給同一臺MySQL服務器，能夠避免無限循環。
  該選項在崩潰恢復時也頗有用，能夠避免複製已經記錄的語句。註釋：該選項要求有SUPER權限。

-u, --user=name
  鏈接遠程服務器時使用的MySQL用戶名。

-v, --verbose
  用於輸出基於row模式的binlog日誌，-vv爲列數據類型添加註釋

-V, --version
  顯示版本信息並退出。

五、小結
a、能夠經過show binlog events以及mysqlbinlog方式來提取binlog日誌。
b、show binlog events 參數有限不適宜批量提取，mysqlbinlog可用於批量提取來創建恢復數據庫的SQL。
c、mysqlbinlog能夠基於時間點，position等方式實現不徹底恢復或時點恢復。
d、mysqlbinlog能夠從支持本地或遠程方式提取binlog日誌。
e、mysqlbinlog能夠基於server_id，以及基於數據庫級別提取日誌，不支持表級別。

使用mysqlbinlog工具進行基於位置或時間點的恢復  http://www.linuxidc.com/Linux/2014-07/104676.htm