shell腳本批量導出MYSQL數據庫日誌/按照最近N天的形式導出二進制日誌[連載之構建百萬訪問量電子商務網站]

shell腳本批量導出MYSQL數據庫日誌/自動本地導出MYSQL二進制日誌,按天備份[連載之構建百萬訪問量電子商務網站]

出處： http://jimmyli.blog.51cto.com/ 我站在巨人肩膀上Jimmy Li
做者：Jimmy Li
關鍵詞：網站,電子商務,Shell,自動備份,異地備份
------[連載之電子商務系統架構]訪問量超過100萬的電子商務網站技術架構
鏈接： http://jimmyli.blog.51cto.com/3190309/676378 訪問量超過100萬的電子商務網站技術架構

 

mysqlbinlog
從二進制日誌讀取語句的工具。在二進制日誌文件中包含的執行過的語句的日誌可用來幫助從崩潰中恢復。

 

1、MYSQL數據庫日誌，有如下幾種日誌：
1.錯誤日誌： -log-error
2.查詢日誌： -log
3.慢查詢日誌: -log-slow-queries
4.更新日誌: -log-update
5.二進制日誌： -log-bin
這裏討論的是MYSQL二進制日誌的導出、導入；MYSQL二進制日誌完整備份，增量備份。
默認狀況下，全部日誌建立於mysqld數據目錄中，或者手工指定/etc/my.cnf [mysqld] 設置段的選項設置。

在linux下：
# 在[mysqld] 中輸入

Python

[mysqld] log_long_format log-bin = /data/mysql/3306/binlog binlog_cache_size = 4M binlog_format = MIXED max_binlog_cache_size = 16M max_binlog_size = 512M expire_logs_days = 30

 

以上，開啓MYSQL的二進制日誌，並指定保存日誌的路徑。

 

binlog日誌打開方法
在my.cnf這個文件中加一行（Windows爲my.ini）。
[mysqld]
log-bin=mysqlbin-log #添加這一行就ok了=號後面的名字本身定義吧
而後咱們能夠對數據庫作簡單的操做後到mysql數據文件所在的目錄來看binlog文件
[root@jimmyli mysql]# ll
-rw-rw---- 1 mysql mysql 813255 Nov 25 18:14 mysqlbin-log.000001
看到這個相似的文件，證實搞定了。

2、查看二進制日誌文件用mysqlbinlog命令

是否啓用了日誌
mysql>show variables like 'log_%';
怎樣知道當前的日誌
mysql> show master status;
顯示二進制日誌數目
mysql> show master logs;
看二進制日誌文件用mysqlbinlog
shell>mysqlbinlog mail-bin.000001
或者shell>mysqlbinlog mail-bin.000001 | tail 9000
查看二進制日誌文件最後（倒數）9000行的SQL日誌記錄

3、shell腳本批量導出MYSQL數據庫日誌

按照最近N天的形式導出二進制日誌

上面的設置中，MYSQL二進制日誌保存了30天，mail-bin.000001相似文件保存的大小爲512M。根據網站的運營須要，須要將MYSQL二進制日誌完整備份，增量備份，按照最近N天的形式導出日誌文件，以TXT文件保存。

shell

shell代碼以下： #!/bin/bash iday=60 #循環導出60天的mysqlbinlog日誌 startday=$(date -d "-$iday day" +"%y-%m-%d") stopday=$(date +"%y-%m-%d") # while [ "$startday" != "$stopday" ] while [ $iday -ge 1 ] #while (("$iday" >= 1)) do echo $iday startday=$(date -d "-$iday day" +"%y-%m-%d") echo startday=$startday echo stopday=$stopday ./mysqlbinlog --start-datetime="$startday 00:00:00" --stop-datetim="$startday 23:59:59" binlog.*[0-9] > $startday.txt echo --------------- iday=`expr $iday - 1` done 執行結果以下 [root@JimmyLi bin]# ./test.sh 60 startday=12-04-17 stopday=12-06-16 --------------- #中間忽略# 1 startday=12-06-15 stopday=12-06-16 ---------------

 

 

從12-04-17.txt到12-06-15.txt共60天的日誌，以天爲單位，每個日期生成當天的mysqlbinlog日誌。

4、自動本地導出MYSQL二進制日誌,按天備份

 

能夠將mysqlbinlog的輸出傳到mysql客戶端以執行包含在二進制日誌中的語句。若是你有一箇舊的備份，該選項在崩潰恢復時也頗有用：

shell> mysqlbinlog hostname-bin.000001 | mysql
或：
shell> mysqlbinlog hostname-bin.[0-9]* | mysql
shell> mysqlbinlog hostname-bin.*[0-9] > bin.txt
若是你須要先修改含語句的日誌，還能夠將mysqlbinlog的輸出從新指向一個文本文件。
(例如，想刪除因爲某種緣由而不想執行的語句)。編輯好文件後，將它輸入到mysql程序並執行它包含的語句。

自動本地導出MYSQL二進制日誌,按天備份命令：

shell>./mysqlbinlog --start-datetime="12-06-16 00:00:00" --stop-datetim="12-06-16 23:59:59" binlog.*[0-9] > 12-06-16.txt

5、討論若是MySQL服務器上有多個要執行的二進制日誌，安全的處理方法。

mysqlbinlog有一個--position選項，只打印那些在二進制日誌中的偏移量大於或等於某個給定位置的語句(給出的位置必須匹配一個事件的開始)。
它還有在看見給定日期和時間的事件後中止或啓動的選項。這樣可使用--stop-datetime選項進行點對點恢復(例如，可以說「將數據庫前滾動到今天10:30 AM的位置」)。

若是MySQL服務器上有多個要執行的二進制日誌，安全的方法是在一個鏈接中處理它們。下面是一個說明什麼是不安全的例子：

shell> mysqlbinlog hostname-bin.000001 | mysql -u root
shell> mysqlbinlog hostname-bin.000002 | mysql -u root

使用與服務器的不一樣鏈接來處理二進制日誌時，若是第1個日誌文件包含一個CREATE TEMPORARY TABLE語句，第2個日誌包含一個使用該臨時表的語句，則會形成問題。當第1個mysql進程結束時，服務器撤銷臨時表。當第2個mysql進程想使用該表時，服務器報告 「不知道該表」。

要想避免此類問題，使用一個鏈接來執行想要處理的全部二進制日誌中的內容。下面提供了一種方法：

shell> mysqlbinlog hostname-bin.000001 hostname-bin.000002 | mysql

另外一個方法是：

shell> mysqlbinlog hostname-bin.000001 >  /tmp/statements.sql
shell> mysqlbinlog hostname-bin.000002 >> /tmp/statements.sql
shell> mysql -e "source /tmp/statements.sql"

mysqlbinlog產生的輸出能夠不須要原數據文件便可從新生成一個LOAD DATA INFILE操做。mysqlbinlog將數據複製到一個臨時文件並寫一個引用該文件的LOAD DATA LOCAL INFILE語句。由系統肯定寫入這些文件的目錄的默認位置。要想顯式指定一個目錄，使用--local-load選項。

由於mysqlbinlog能夠將LOAD DATA INFILE語句轉換爲LOAD DATA LOCAL INFILE語句(也就是說，它添加了LOCAL)，用於處理語句的客戶端和服務器必須配置爲容許LOCAL操做。

警告：爲LOAD DATA LOCAL語句建立的臨時文件不會自動刪除，由於在實際執行完那些語句前須要它們。再也不須要語句日誌後應本身刪除臨時文件。文件位於臨時文件目錄中，文件名相似original_file_name-#-#。

6、其餘查看MYSQL日誌的相關命令

1. 查看本身的BINLOG的名字是什麼

命令:show binary logs;

mysql> show binary logs;
+---------------+-----------+
| Log_name      | File_size |
+---------------+-----------+
| binlog.000044 | 471894871 |
| binlog.000045 |    267061 |
+---------------+-----------+
2 rows in set (0.00 sec)

之後每次對錶的相關操做時候,這個File_size都會增大。

2. 作了幾回操做後，它就記錄了下來。

命令:show binlog events

3. 用mysqlbinlog 工具來顯示記錄的二進制結果，而後導入到文本文件，爲了之後的恢復。

詳細過程以下：
C:\Program Files\MySQL\MySQL Server 5.0\bin>mysqlbinlog --start-position=4 --sto

p-position=106 mysqlbin-log.000001 > c:\\test1.txt

或者所有導出:

C:\Program Files\MySQL\MySQL Server 5.0\bin>mysqlbinlog mysqlbin-log.000001 > c:\\test1.txt

4. 導入結果到MYSQL中進行數據恢復。

C:\Program Files\MySQL\MySQL Server 5.0\bin>mysqlbinlog --start-position=134 --stop-position=330 mysqlbin-log.000001 | mysql -uroot -p

或者

C:\Program Files\MySQL\MySQL Server 5.0\bin>mysqlbinlog --start-position=134 --stop-position=330 mysqlbin-log.000001 >test1.txt

進入MYSQL導入

mysql> source c:\\test1.txt

還有一種辦法是根據日期來恢復

C:\Program Files\MySQL\MySQL Server 5.0\bin >mysqlbinlog --start-datetime="2009-09-14 0:20:00" --stop-datetim="2009-09-15 01:25:00" /diskb/bin-logs/xxx_db-bin.000001 | mysql -u root

五、查看數據

Select * from User

六、其餘MYSQL日誌命令

是否啓用了日誌
mysql>show variables like 'log_%';
怎樣知道當前的日誌
mysql> show master status;
顯示二進制日誌數目
mysql> show master logs;
看二進制日誌文件用mysqlbinlog
shell>mysqlbinlog mail-bin.000001
或者shell>mysqlbinlog mail-bin.000001 | tail 9000
查看二進制日誌文件最後（倒數）9000行的SQL日誌記錄

附錄：

mysqlbinlog用法詳細說明

服務器生成的二進制日誌文件寫成二進制格式。要想檢查這些文本格式的文件，應使用mysqlbinlog實用工具。
應這樣調用mysqlbinlog：
shell> mysqlbinlog [options] log-files...例如，要想顯示二進制日誌binlog.000003的內容，使用下面的命令：
shell> mysqlbinlog binlog.0000003輸出包括在binlog.000003中包含的全部語句，以及其它信息例如每一個語句花費的時間、客戶發出的線程ID、發出線程時的時間戳等等。
一般狀況，可使用mysqlbinlog直接讀取二進制日誌文件並將它們用於本地MySQL服務器。也可使用--read-from-remote-server選項從遠程服務器讀取二進制日誌。
當讀取遠程二進制日誌時，能夠經過鏈接參數選項來指示如何鏈接服務器，但它們常常被忽略掉，除非你還指定了--read-from-remote-server選項。這些選項是--host、--password、--port、--protocol、--socket和--user。
還可使用mysqlbinlog來讀取在複製過程當中從服務器所寫的中繼日誌文件。中繼日誌格式與二進制日誌文件相同。

mysqlbinlog支持下面的選項：
·
---help，-？
顯示幫助消息並退出。
·
---database=db_name，-d db_name
只列出該數據庫的條目(只用本地日誌)。
·
--force-read，-f
使用該選項，若是mysqlbinlog讀它不能識別的二進制日誌事件，它會打印警告，忽略該事件並繼續。沒有該選項，若是mysqlbinlog讀到此類事件則中止。
·
--hexdump，-H
在註釋中顯示日誌的十六進制轉儲。該輸出能夠幫助複製過程當中的調試。在MySQL 5.1.2中添加了該選項。
·
--host=host_name，-h host_name
獲取給定主機上的MySQL服務器的二進制日誌。
·
--local-load=path，-l pat
爲指定目錄中的LOAD DATA INFILE預處理本地臨時文件。
·
--offset=N，-o N
跳過前N個條目。
·
--password[=password]，-p[password]
當鏈接服務器時使用的密碼。若是使用短選項形式(-p)，選項和 密碼之間不能有空格。若是在命令行中--password或-p選項後面沒有 密碼值，則提示輸入一個密碼。
·
--port=port_num，-P port_num
用於鏈接遠程服務器的TCP/IP端口號。
·
--position=N，-j N
不同意使用，應使用--start-position。
·
--protocol={TCP | SOCKET | PIPE | -position

使用的鏈接協議。
·
--read-from-remote-server，-R
從MySQL服務器讀二進制日誌。若是未給出該選項，任何鏈接參數選項將被忽略。這些選項是--host、--password、--port、--protocol、--socket和--user。
·
--result-file=name, -r name
將輸出指向給定的文件。
·
--short-form，-s
只顯示日誌中包含的語句，不顯示其它信息。
·
--socket=path，-S path
用於鏈接的套接字文件。
·
--start-datetime=datetime
從二進制日誌中第1個日期時間等於或晚於datetime參量的事件開始讀取。datetime值相對於運行mysqlbinlog的機器上的本地時區。該值格式應符合DATETIME或TIMESTAMP數據類型。例如：
shell> mysqlbinlog --start-datetime="2004-12-25 11:25:56" binlog.000003該選項能夠幫助點對點恢復。
·
--stop-datetime=datetime
從二進制日誌中第1個日期時間等於或晚於datetime參量的事件起中止讀。關於datetime值的描述參見--start-datetime選項。該選項能夠幫助及時恢復。
·
--start-position=N
從二進制日誌中第1個位置等於N參量時的事件開始讀。
·
--stop-position=N
從二進制日誌中第1個位置等於和大於N參量時的事件起中止讀。
·
--to-last-logs，-t
在MySQL服務器中請求的二進制日誌的結尾處不中止，而是繼續打印直到最後一個二進制日誌的結尾。若是將輸出發送給同一臺MySQL服務器，會致使無限循環。該選項要求--read-from-remote-server。
·
--disable-logs-bin，-D
禁用二進制日誌。若是使用--to-last-logs選項將輸出發送給同一臺MySQL服務器，能夠避免無限循環。該選項在崩潰恢復時也頗有用，能夠避免複製已經記錄的語句。註釋：該選項要求有SUPER權限。
·
--user=user_name，-u user_name
鏈接遠程服務器時使用的MySQL用戶名。
·
--version，-V
顯示版本信息並退出。
還可使用--var_name=value選項設置下面的變量：
·
open_files_limit
指定要保留的打開的文件描述符的數量。
·
--hexdump選項能夠在註釋中產生日誌內容的十六進制轉儲：
shell> mysqlbinlog --hexdump master-bin.000001上述命令的輸出應相似十六進制轉儲：

出處： http://jimmyli.blog.51cto.com/ Jimmy Li Blog 。歡迎朋友一塊兒交流，討論。扣扣：柒⑥柒陸叄⑤叄伍