MySQL 數據備份與同步

時間 2019-11-09

標籤 mysql 數據備份同步欄目 MySQL 简体版

原文原文鏈接

前段時間使用MySQL做爲數據存儲作了一個小項目。項目上線運行了幾十天以後，數據已經愈來愈多，達到了100多M。用mysqldump天天備份全量數據而後傳輸到另一臺機器上這種方式進行數據備份，長此以往愈來愈慢。因而開始研究如何利用mysql的主從同步功能實現自動備份。若是實現自動備份，主從服務器之間只須要在有數據更新時同步一點增量數據，不會在備份時佔用大量的CPU和內網的網絡帶寬資源了。介紹主從同步以前，仍是先從基礎的mysqldump備份開始講起。html

mysqldump

mysqldump是mysql數據庫提供的一個數據備份工具。顧名思義，mysqldump能夠把mysql數據庫導出成sql語句文件，並保存到磁盤上。mysqldump命令產生的.sql文件包含一系列SQL INSERT語句，能夠用來進行數據恢復。mysql

假定咱們在星期日下午1點進行了備份，此時負荷較低。下面的命令能夠徹底備份全部數據庫中的全部表：sql

shell> mysqldump --single-transaction --all-databases > backup_sunday_1_PM.sql

各類用法說明shell

A. 最簡單的用法：數據庫

 mysqldump -uroot -pPassword [database name] > [dump file]

上述命令將指定數據庫備份到某dump文件（轉儲文件）中，好比：bash

mysqldump -uroot -p123 test > test.dump

　　生成的test.dump文件中包含建表語句（生成數據庫結構哦）和插入數據的insert語句。服務器

B. --opt網絡

若是加上--opt參數則生成的dump文件中稍有不一樣：編輯器

. 建表語句包含drop table if exists tableNameide

. insert以前包含一個鎖表語句lock tables tableName write，insert以後包含unlock tables

C. 跨主機備份

使用下面的命令能夠將host1上的sourceDb複製到host2的targetDb，前提是host2主機上已經建立targetDb數據庫：

mysqldump --host=host1 --opt sourceDb| mysql --host=host2 -C targetDb

　　其中：-C指示主機間的數據傳輸使用數據壓縮

D. 只備份表結構

mysqldump --no-data --databases mydatabase1 mydatabase2 mydatabase3 > test.dump

將只備份表結構。--databases指示主機上要備份的數據庫。若是要備份某個MySQL主機上的全部數據庫可使用--all-databases選項，以下：

mysqldump --all-databases

> test.dump

E. 從備份文件恢復數據庫

mysql [database name] < [backup file name]

使用mysqldump進行數據備份，至少有兩個問題：

（1）mysqldump運行時，須要消耗必定的計算資源。並且數據庫越大，消耗的計算資源也就越多，所以可能會形成系統在備份時運行效率低，容易形成用戶卡死。

（2）對mysqldump備份的數據進行恢復，會丟掉從備份點開始的更新數據。

爲了解決第2點的問題， mysql文檔中給出了一個解決辦法。那就是利用mysqlbinlog二進制文件保存增量的數據。採用全量mysqldump+增量mysqlbinlog的方式進行數據恢復。

mysqlbinlog

mysqlbinlog就是mysql的二進制數據文件。在對mysql進行一些配置以後，mysql會把數據庫的更新操做都記錄在一個文件中。mysqlbinlog能夠在mysqld的--bin-log選項或者在配置文件(my.cnf或者my.ini)中打開。

[mysqld]

log-bin=mysql-bin //[必須]啓用二進制日誌

在啓用了二進制日誌之後，在mysql的數據目錄下，會出現一些以數字爲結尾的文件，例如：

-rw-rw---- 1 guilhem  guilhem   1277324 Nov 10 23:59 mysql-bin.000001

-rw-rw---- 1 guilhem  guilhem         4 Nov 10 23:59 mysql-bin.000002

這些文件就是二進制的日誌文件。每次mysql啓動都會增長一個文件。

下面回到上節提出的問題，如何採用全量mysqldump+增量mysqlbinlog的方式進行數據恢復？

mysqldump全量備份+mysqlbinlog二進制日誌增量備份

從mysqldump備份文件恢復數據會丟失掉從備份點開始的更新數據，因此還須要結合mysqlbinlog二進制日誌增量備份。確保my.ini或者my.cnf中包含下面的配置以啓用二進制日誌，或者mysqld ---log-bin：

[mysqld]
log-bin=mysql-bin

在每次使用mysqldump進行全量數據備份時，用--flush-logs選項：

mysqldump --single-transaction --flush-logs --master-data=2 > backup.sql

在使用這樣的語句進行備份以後，mysql就會關閉原來的二進制日誌文件，開啓一個新的二進制日誌文件。好比，新開啓的二進制日誌文件爲 mysql-bin.000003。那麼在進行數據恢復的時候，你能夠利用backup.sql進行全量恢復+ mysql-bin.000003進行增量同步。

數據恢復的方法也很簡單。

shell> mysql -uroot -pPwd < backup_sunday_1_PM.sql

shell> mysqlbinlog mysql-bin.000003 | mysql -uroot -pPwd

或者：

cat backup.sql | mysql -uroot -ppassword
mysqlbinlog mysql-bin.000003 | mysql -uroot -ppassword

此外mysqlbinlog還能夠指定--start-date、--stop-date、--start-position和--stop-position參數，用於精確恢復數據到某個時刻以前或者跳過中間某個出問題時間段恢復數據，直接摘錄MySQL文檔說明中相關內容以下：

5.9.3.1. 指定恢復時間
對於MySQL 4.1.4，能夠在mysqlbinlog語句中經過--start-date和--stop-date選項指定DATETIME格式的起止時間。舉例說明，假設在今天上午10:00(今天是2005年4月20日)，執行SQL語句來刪除一個大表。要想恢復表和數據，你能夠恢復前晚上的備份，並輸入：
mysqlbinlog --stop-date="2005-04-20 9:59:59" /var/log/mysql/bin.123456 \
     | mysql -u root -pmypwd
該命令將恢復截止到在--stop-date選項中以DATETIME格式給出的日期和時間的全部數據。若是你沒有檢測到幾個小時後輸入的錯誤的SQL語句，可能你想要恢復後面發生的活動。根據這些，你能夠用起使日期和時間再次運行mysqlbinlog：

mysqlbinlog --start-date="2005-04-20 10:01:00" /var/log/mysql/bin.123456 \
     | mysql -u root -pmypwd \
在該行中，從上午10:01登陸的SQL語句將運行。組合執行前夜的轉儲文件和mysqlbinlog的兩行能夠將全部數據恢復到上午10:00前一秒鐘。你應檢查日誌以確保時間確切。下一節介紹如何實現。

5.9.3.2. 指定恢復位置
也能夠不指定日期和時間，而使用mysqlbinlog的選項--start-position和--stop-position來指定日誌位置。它們的做用與起止日選項相同，不一樣的是給出了從日誌起的位置號。使用日誌位置是更準確的恢復方法，特別是當因爲破壞性SQL語句同時發生許多事務的時候。要想肯定位置號，能夠運行mysqlbinlog尋找執行了不指望的事務的時間範圍，但應將結果從新指向文本文件以便進行檢查。操做方法爲：
mysqlbinlog --start-date="2005-04-20 9:55:00" --stop-date="2005-04-20 10:05:00" \
      /var/log/mysql/bin.123456 > /tmp/mysql_restore.sql
該命令將在/tmp目錄建立小的文本文件，將顯示執行了錯誤的SQL語句時的SQL語句。你能夠用文本編輯器打開該文件，尋找你不要想重複的語句。若是二進制日誌中的位置號用於中止和繼續恢復操做，應進行註釋。用log_pos加一個數字來標記位置。使用位置號恢復了之前的備份文件後，你應從命令行輸入下面內容：

mysqlbinlog --stop-position="368312" /var/log/mysql/bin.123456 \
    | mysql -u root -pmypwd 
 
mysqlbinlog --start-position="368315" /var/log/mysql/bin.123456 \
    | mysql -u root -pmypwd \ 
上面的第1行將恢復到中止位置爲止的全部事務。下一行將恢復從給定的起始位置直到二進制日誌結束的全部事務。由於mysqlbinlog的輸出包括每一個SQL語句記錄以前的SET TIMESTAMP語句，恢復的數據和相關MySQL日誌將反應事務執行的原時間。

mysqlbinlog是一個讀取 mysql二進制日誌輸出sql語句的命令行工具。使用方法能夠從http://doc.mysql.cn/mysql5/refman-5.1-zh.html-chapter/client-side-scripts.html#mysqlbinlog 查到。

還記得上文提出的mysqldump備份的兩個問題嗎，如今第二個問題解決了，第一個問題尚未解決

「 mysqldump運行時，須要消耗必定的計算資源。並且數據庫越大，消耗的計算資源也就越多，所以可能會形成系統在備份時運行效率低，容易形成用戶卡死。」

下文中咱們利用mysql主從同步來解決這個問題。