【20180402】MySQL關於replication filter和trigger的一些應用

需求描述

1.內網服務器有倆套主從複製環境，一套是基於傳統複製的5.6.26版本，另一套是基於GTID的5.7.19版本的複製。如今開發的需求是須要將基於傳統複製的上面的倆個表同步到基於基於GTID複製上面去，而且要求同步的倆個表中有一個表的一列的值必須是源的10倍。

root@mysqldb 15:51:  [remix_test]> show create table sbtest1 \G
*************************** 1. row ***************************
       Table: sbtest1
Create Table: CREATE TABLE `sbtest1` (
  `id` int(11) NOT NULL,
  `k` int(11) NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

表結構如上所示，在原來的基礎上column k必須乘以10，即new_k = old_k*10

難點

1.如何將倆個表的數據同步過來。在這裏咱們採用了使用主從同步的方案，可是主從同步的方案又帶來了如下幾個問題：

• 基於傳統複製的主從是根據binlog file 和 binlog position進行復制的，基於GTID的主從是根據GTID進行復制，這倆者建立主從是使用基於傳統複製仍是GTID複製。
• 基於GTID複製的主從的binlog的格式是ROW格式，基於傳統複製的主從的binlog格式是STATEMENT格式，在將數據同步到從傳統複製的master上面同步到基於GTID複製的master上，這個時候基於GTID的主從複製的SLAVE是否可以正常應用binlog日誌，或者說slave可否應用沒有使用GTID的binlog日誌。
• 僅僅只是須要同步倆張表，其餘的庫表的數據不須要同步過來。因此須要進行復制過濾。

2.如何將同步過來的數據作修改。在這裏咱們採起的方案是使用觸發器，可是觸發器自己會消耗資源；由於觸發器是基於row行的，因此假如咱們一次性修改500條數據花費1s中，觸發器觸發修改會觸發500次，加入每行數據修改花費1s，那麼觸發器就會花費500s。

• 在測試的過程當中，咱們發如今INSERT插入一行數據以後，在針對這行的數據進行update操做，觸發器沒法被應用到，而且show slave status\G會報錯：

  Last_SQL_Error: Error 'Can't update table 'sbtest1' in stored function/trigger because it is already used by statement which invoked this stored function/trigger.' on query. Default database: 'remix_test'. Query: 'insert into sbtest1(id,k) values(39039,1),(39040,10)'

解決方案

1.數據同步：

• 爲了使得基於GTID主從複製的master可以應用來自於傳統複製的主從的master的binlog日誌，在GTID主從複製的master上面必須修改GTID_MODE，將GTID_MODE更改爲ON_PERMISSIVE(本地產生GTID事務，而且接受隱性事務(即非GTID事務))：

  mysql> set global gtid_mode='ON_PERMISSIVE';

  • 至於基於GTID複製的主從的SLAVE同步來自於MASTER的數據，這裏暫時沒有什麼好的方案，或者咱們尚未進行實驗。可是以前咱們忘記在本地進行修改GTID_MODE致使在SLAVE上面執行SHOW SLAVE STATUS \G能夠看出很明顯的錯誤：ERROR:1236 。這個問題也是咱們如今遇到沒法解決的問題，由於哪怕最後基於GTID複製的MASTER能夠接受來自於基於傳統複製的MASTER的binlog日誌，可是基於GTID複製的SLAVE卻沒法從MASTER上面接受和應用這些日誌。

    Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Cannot replicate anonymous transaction when AUTO_POSITION = 1, at file /home/mysql/data_3307/mysql-bin.000005, position 234.; the first event '' at 4, the last event read from '/home/mysql/data_3307/mysql-bin.000005' at 299, the last byte read from '/home/mysql/data_3307/mysql-bin.000005' at 299.'

• 至於基於GTID主從複製的SLAVE不能應用來自於MASTER的日誌，在這裏解決方案就是將基於GTID複製轉換成傳統複製。就是在show slave status \G獲取Master_Log_File和Read_Master_Log_Pos信息，而後stop slave,chaneg master to master_log_file=Master_Log_File,master_log_pos=Read_Master_Log_Po,master_auto_position=0;而後在start slave。還有就是最好是在低峯期的時候作一下主從數據一致性檢測或者直接查看GTID的集合信息。
• 複製過濾：須要注意的若是你僅僅只是寫replication_do_table的話，雖然通常的DDL,DML操做不是這倆個表是不會複製過來的，可是當你建立新庫的時候(create database schema_name;)仍是會將新庫的建立命令同步過來的，但也是僅僅同步新庫的建立命令，其餘的例如在新庫建立表之類的是不會同步過來的。

  mysql> Change replication filter REPLICATE_DO_DB=(remix_test),REPLICATE_DO_TABLE = (remix_test.sbtest1,remix_test.sbtest2);

2. 觸發器的建立。
   • 建立下面觸發器的時候雖然是建立成功的，可是但你在基於傳統複製的master作insert插入操做的時候是能夠觸發觸發器可是卻沒法執行，會拋出上面所說的錯誤。

     mysql> delimiter || ;
     mysql> create trigger tr1 after insert on sbtest1
     -> for each row
     -> begin
     ->     update sbtest1 set k=new.k*10 where id=new.id;
     -> end||
     mysql> delimiter ;

   • 最後仍是打算建立一個新表，每次舊錶又什麼操做就在新表上面進行修改。

實際操做：

1. 基於傳統複製數據的slave上面的備份

   shell> mysqldump --set-gtid-purged=OFF --single-transaction --dump-slave=2 -uroot -p -t remix_test sbtest1 > sbtest1_20180402.sql
   shell> mysqldump --set-gtid-purged=OFF --single-transaction --dump-slave=2 -uroot -p -t remix_test sbtest2 > sbtest2_20180402.sql

2. 基於GTID複製的MASTER上面的恢復

   shell> mysql -S /var/lib/mysql/mysql_3306.sock -uroot -p remix_test< sbtest1_20180402.sql
   shell> mysql -S /var/lib/mysql/mysql_3306.sock -uroot -p remix_test<sbtest2_20180402.sql

3. 基於傳統複製的MASTER上面建立複製帳號

   mysql> grant replication slave on 'slave'@'ip_address' identified by 'new_password';
   mysql> flush privileges;

4. 基於GTID複製的MASTER的gtid_node修改

   mysql> set global gtid_mode='ON_PERMISSIVE';

5. 基於GTID複製的MASTER上面搭建主從(從基於後面備份的sbtest2_20180402.sql上面獲取binlog file和position信息)

   mysql> change master  ......

6. 基於GTID複製的MASTER上面作複製過濾

   mysql> change replication filter replicate_do_db=(remix_test),replicate_do_table=(remix_test.sbtest1,remix_test.sbtest2);

7. 基於GTID複製的MASTER開啓主從複製
   
8. 基於GTID複製的MASTER建立新表

   mysql> create table sbtest1_bak like sbtest1;
   mysql> insert into sbtest1_bak select id,k*10 from sbtest1;

   9.基於GTID複製的MASTER上面建立觸發器

   root@mysqldb 15:39:  [remix_test]> delimiter ||
   root@mysqldb 15:41:  [remix_test]> create trigger tr2 after update on sbtest1
   -> for each row
   -> begin
   ->     update sbtest1_bak set k=new.k*10 where id=new.id;
   -> end||
   root@mysqldb 15:48:  [remix_test]> delimiter ||
   root@mysqldb 15:48:  [remix_test]> create trigger tr3 after delete on sbtest1
   -> for each row
   -> begin
   ->     delete from sbtest1_bak where id=old.id;
   -> end||
   Query OK, 0 rows affected (0.11 sec)
   root@mysqldb 15:49:  [remix_test]> delimiter ;
   root@mysqldb 15:06:  [remix_test]> create trigger tr1 after insert on sbtest1
   -> for each row
   -> begin
   ->     insert into sbtest1_bak(id,k) select id,k*10 from sbtest1 where id=new.id;
   -> end||
   Query OK, 0 rows affected (0.11 sec)
   root@mysqldb 15:08:  [remix_test]> delimiter ;

20180615 補充 5.7版本的多源複製和過濾

MySQL5.7已經開始支持多源複製了，主要語法是:

mysql> change master to ........ for channel 'channel_name';

可是咱們線上在開啓多源複製的時候還須要針對單個channel作過濾，這時候咱們發現MySQL5.7的版本並不支持針對單個channel作過濾，須要升級到MySQL8.0以上，過濾規則是對全部的channel都會起做用。

在偶然的一次有作複製過濾的MySQL實例作了重啓，在啓動的slave的時候忽然發現報錯，show slave status的時候看到以前replication filter的規則所有丟失了。因此須要注意一下。