使用Percona Toolkit解決Mysql主從不一樣步問題【備忘】

因爲各類緣由，mysql主從架構常常會出現數據不一致的狀況出現，大體歸結爲以下幾類

• 1:備庫寫數據
• 2:執行non-deterministic query
• 3:回滾摻瑣事務表和非事務表的事務
• 4:binlog或者relay log數據損壞

數據不一樣步給應用帶來的危害是致命的，當出現主從數據不一致的狀況，常見的應對方法是先把從庫下線，而後找個半夜三更的時間把應用停掉，從新執行同步，若是數據庫的體積十分龐大，那工做量可想而知，會讓人崩潰。本文介紹使用percona-toolkit工具對mysql主從數據庫的同步狀態進行檢查和從新同步。

一：安裝percona-toolkit

# yum -y install perl-Time-HiRes
# wget
http://www.percona.com/downloads/percona-toolkit/2.2.13/tarball/percona-toolkit-2.2.13.tar.gz
# tar -zxvpf percona-toolkit-2.2.13.tar.gz
# cd percona-toolkit-2.2.13
# perl Makefile.PL
# make
# make install

二：修改mysql 的binlog格式binlog_format參數爲row格式

mysql binlog日誌有三種格式，分別爲Statement, Mixed,以及ROW！

1.Statement：

每一條會修改數據的sql都會記錄在binlog中。

優勢：不須要記錄每一行的變化，減小了binlog日誌量，節約了IO，提升性能。(相比row能節約多少性能與日誌量，這個取決於應用的SQL狀況，正常同一條記錄修改或者插入row格式所產生的日誌量還小於Statement產生的日誌量，可是考慮到若是帶條件的update操做，以及整表刪除，alter表等操做，ROW格式會產生大量日誌，所以在考慮是否使用ROW格式日誌時應該跟據應用的實際狀況，其所產生的日誌量會增長多少，以及帶來的IO性能問題。)

缺點：因爲記錄的只是執行語句，爲了這些語句能在slave上正確運行，所以還必須記錄每條語句在執行的時候的一些相關信息，以保證全部語句能在slave獲得和在master端執行時候相同 的結果。另外mysql 的複製,像一些特定函數功能，slave可與master上要保持一致會有不少相關問題(如sleep()函數， last_insert_id()，以及user-defined functions(udf)會出現問題).

2.Row

不記錄sql語句上下文相關信息，僅保存哪條記錄被修改。

優勢： binlog中能夠不記錄執行的sql語句的上下文相關的信息，僅須要記錄那一條記錄被修改爲什麼了。因此rowlevel的日誌內容會很是清楚的記錄下每一行數據修改的細節。並且不會出現某些特定狀況下的存儲過程，或function，以及trigger的調用和觸發沒法被正確複製的問題

缺點:全部的執行的語句當記錄到日誌中的時候，都將以每行記錄的修改來記錄，這樣可能會產生大量的日誌內容,好比一條update語句，修改多條記錄，則binlog中每一條修改都會有記錄，這樣形成binlog日誌量會很大，特別是當執行alter table之類的語句的時候，因爲表結構修改，每條記錄都發生改變，那麼該表每一條記錄都會記錄到日誌中。

3.Mixed

是以上兩種level的混合使用，通常的語句修改使用statment格式保存binlog，如一些函數，statement沒法完成主從複製的操做，則採用row格式保存binlog,MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日誌形式，也就是在Statement和Row之間選擇一種.新版本的MySQL中隊row level模式也被作了優化，並非全部的修改都會以row level來記錄，像遇到表結構變動的時候就會以statement模式來記錄。至於update或者delete等修改數據的語句，仍是會記錄全部行的變動。

主從數據庫分別修改my.cnf文件相關配置項以下：

binlog_format=ROW

 

三：使用pt-table-checksum工具檢查數據一致性狀況

用法參考：

假設192.168.1.205是主庫，192.168.1.207是它的從庫，端口在3306。

1. 先校驗

# pt-table-checksum --user=root --password=123456 \
--host=192.168.1.205 --port=3306 \
--databases=test --tables=t2 --recursion-method=processlist \
--no-check-binlog-format --nocheck-replication-filters \
--replicate=test.checksums

2. 根據校驗結果，只修復192.168.1.207從庫與主庫不一致的地方：

# pt-table-sync --execute --replicate \
test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456

3. 修復後，再從新校驗一次。執行第一步的語句便可。

4. 檢查修復結果： 登錄到192.168.1.207，執行以下sql語句返回若爲空，則說明修復成功：

SELECT
*
FROM
test.checksums
WHERE
master_cnt <> this_cnt
OR master_crc <> this_crc
OR ISNULL(master_crc) <> ISNULL(this_crc)

各參數含義

• --nocheck-replication-filters:不檢查複製過濾器，建議啓用。後面能夠用--databases來指定須要檢查的數據庫。
• --no-check-binlog-format:不檢查複製的binlog模式，要是binlog模式是ROW，則會報錯。
• --replicate-check-only:只顯示不一樣步的信息。
• --replicate=:把checksum的信息寫入到指定表中，建議直接寫到被檢查的數據庫當中。
• --databases=:指定須要被檢查的數據庫，多個則用逗號隔開。
• --tables=：指定須要被檢查的表，多個用逗號隔開
• h=127.0.0.1:Master的地址
• u=root:用戶名
• p=123456:密碼
• P=3306:端口

 

下面咱們來模擬下主從數據庫不一樣步狀況下的pt-table-checksum，爲了方便，這裏咱們採用test schema

1: 主庫上建表，插入測試數據

mysql> create table t2 (id int primary key,name varchar(100) not null,salary int);
mysql> CREATE PROCEDURE test_insert ()
BEGIN
DECLARE i INT DEFAULT 0;
WHILE i<10000
DO
INSERT INTO t2
VALUES
(i,CONCAT('員工',i), i);
SET i=i+1;
END WHILE ;
END;;
mysql> CALL test_insert();

從庫上校驗當前數據的同步狀況爲正常。

從庫上刪除一半的數據

mysql> delete from t2 where id > 5000;
Query OK, 4999 rows affected (0.14 sec)

mysql> select count(*) from t2;
+----------+
| count(*) |
+----------+
| 5001 |
+----------+
1 row in set (0.01 sec)

2：使用pt-table-checksum工具進行校驗：

# pt-table-checksum --user=root --password=123456 \
--host=192.168.1.205 --port=3306 \
--databases=test --tables=t2 --recursion-method=processlist \
--no-check-binlog-format --nocheck-replication-filters \
--replicate=test.checksums

3：登錄從庫進行查詢checksum表

mysql> SELECT
*
FROM
test.checksums
WHERE
master_cnt <> this_cnt
OR master_crc <> this_crc
OR ISNULL(master_crc) <> ISNULL(this_crc)

4：使用pt-table-sync工具進行數據從新同步

# pt-table-sync --execute --replicate \
test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456

5：從庫上驗證數據，中文「員工」變成了「??」

檢查主庫，發現出現同樣的狀況，中文「員工」變成了「??」，猜測和字符集設置相關。

因而檢查數據庫字符集設置，發現test庫字符集非utf8

主從庫my.cnf文件添加以下配置項後重啓數據庫實例

character_set_client=utf8
character_set_server=utf8

從新執行以上1-4步，發現一切正常！關鍵第4步要加--charset=utf8 參數

# pt-table-sync --execute --replicate \
test.checksums --charset=utf8 \
--sync-to-master h=192.168.1.207,P=3306,u=root,p=123456