轉mysql半主從同步

MySQL半同步複製
從MySQL5.5開始，MySQL以插件的形式支持半同步複製。如何理解半同步呢？首先咱們來看看異步，全同步的概念
 
異步複製（Asynchronous replication）
MySQL默認的複製便是異步的，主庫在執行完客戶端提交的事務後會當即將結果返給給客戶端，並不關心從庫是否已經接收並處理，這樣就會有一個問題，主若是crash掉了，此時主上已經提交的事務可能並無傳到從上，若是此時，強行將從提高爲主，可能致使新主上的數據不完整。
 
全同步複製（Fully synchronous replication）
指當主庫執行完一個事務，全部的從庫都執行了該事務才返回給客戶端。由於須要等待全部從庫執行完該事務才能返回，因此全同步複製的性能必然會收到嚴重的影響。
 
半同步複製（Semisynchronous replication）
介於異步複製和全同步複製之間，主庫在執行完客戶端提交的事務後不是馬上返回給客戶端，而是等待至少一個從庫接收到並寫到relay log中才返回給客戶端。相對於異步複製，半同步複製提升了數據的安全性，同時它也形成了必定程度的延遲，這個延遲最少是一個TCP/IP往返的時間。因此，半同步複製最好在低延時的網絡中使用。
 
下面來看看半同步複製的原理圖：

半同步複製的潛在問題
客戶端事務在存儲引擎層提交後，在獲得從庫確認的過程當中，主庫宕機了，此時，可能的狀況有兩種
 
事務還沒發送到從庫上
此時，客戶端會收到事務提交失敗的信息，客戶端會從新提交該事務到新的主上，當宕機的主庫從新啓動後，以從庫的身份從新加入到該主從結構中，會發現，該事務在從庫中被提交了兩次，一次是以前做爲主的時候，一次是被新主同步過來的。
 
事務已經發送到從庫上
此時，從庫已經收到並應用了該事務，可是客戶端仍然會收到事務提交失敗的信息，從新提交該事務到新的主上。
 
無數據丟失的半同步複製
針對上述潛在問題，MySQL 5.7引入了一種新的半同步方案：Loss-Less半同步複製。
針對上面這個圖，「Waiting Slave dump」被調整到「Storage Commit」以前。
 
固然，以前的半同步方案一樣支持，MySQL 5.7.2引入了一個新的參數進行控-rpl_semi_sync_master_wait_point
rpl_semi_sync_master_wait_point有兩種取值
 
AFTER_SYNC
這個即新的半同步方案，Waiting Slave dump在Storage Commit以前。
 
AFTER_COMMIT
老的半同步方案，如圖所示。
 
半同步複製的安裝部署
要想使用半同步複製，必須知足如下幾個條件：

1. MySQL 5.5及以上版本
2. 變量have_dynamic_loading爲YES
3. 異步複製已經存在
    
   首先加載插件
   因用戶需執行INSTALL PLUGIN, SET GLOBAL, STOP SLAVE和START SLAVE操做，因此用戶需有SUPER權限。
   主：
   mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
   從：
   mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
    
   查看插件是否加載成功
   有兩種方式
   1. 
   mysql> show plugins;
   rpl_semi_sync_master | ACTIVE | REPLICATION | semisync_master.so | GPL
   2. 
   mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS FROM INFORMATION_SCHEMA.PLUGINS  WHERE PLUGIN_NAME LIKE '%semi%';
   +----------------------+---------------+
   | PLUGIN_NAME | PLUGIN_STATUS |
   +----------------------+---------------+
   | rpl_semi_sync_master | ACTIVE |
   +----------------------+---------------+
   1 row in set (0.00 sec)
    
   啓動半同步複製
   在安裝完插件後，半同步複製默認是關閉的，這時需設置參數來開啓半同步
   主：
   mysql> SET GLOBAL rpl_semi_sync_master_enabled = 1;
   從：
   mysql> SET GLOBAL rpl_semi_sync_slave_enabled = 1;
    
   以上的啓動方式是在命令行操做，也可寫在配置文件中。
   主：
   plugin-load=rpl_semi_sync_master=semisync_master.so
   rpl_semi_sync_master_enabled=1
   從：
   plugin-load=rpl_semi_sync_slave=semisync_slave.so
   rpl_semi_sync_slave_enabled=1
   在有的高可用架構下，master和slave需同時啓動，以便在切換後能繼續使用半同步複製
   plugin-load = "rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so"
   rpl-semi-sync-master-enabled = 1
   rpl-semi-sync-slave-enabled = 1
    
   重啓從上的IO線程
   mysql> STOP SLAVE IO_THREAD;
   mysql> START SLAVE IO_THREAD;
   若是沒有重啓，則默認仍是異步複製，重啓後，slave會在master上註冊爲半同步複製的slave角色。
   這時候，主的error.log中會打印以下信息：
   2016-08-05T10:03:40.104327Z 5 [Note] While initializing dump thread for slave with UUID , found a zombie dump thread with the same UUID. Master is killing the zombie dump thread(4).2016-08-05T10:03:40.111175Z 4 [Note] Stop asynchronous binlog_dump to slave (server_id: 2)2016-08-05T10:03:40.119037Z 5 [Note] Start binlog_dump to master_thread_id(5) slave_server(2), pos(mysql-bin.000003, 621)2016-08-05T10:03:40.119099Z 5 [Note] Start semi-sync binlog_dump to slave (server_id: 2), pos(mysql-bin.000003, 621)
    
   查看半同步是否在運行
   主：
   mysql> show status like 'Rpl_semi_sync_master_status';
   +-----------------------------+-------+
   | Variable_name | Value |
   +-----------------------------+-------+
   |Rpl_semi_sync_master_status | ON |
   +-----------------------------+-------+
   1 row in set (0.00 sec)
   從：
   mysql> show status like 'Rpl_semi_sync_slave_status';
   +----------------------------+-------+
   | Variable_name | Value |
   +----------------------------+-------+
   | Rpl_semi_sync_slave_status | ON |
   +----------------------------+-------+
   1 row in set (0.20 sec)
   這兩個變量經常使用來監控主從是否運行在半同步複製模式下。
   至此，MySQL半同步複製搭建完畢~
    
   事實上，半同步複製並非嚴格意義上的半同步複製
   當半同步複製發生超時時（由rpl_semi_sync_master_timeout參數控制，單位是毫秒，默認爲10000，即10s），會暫時關閉半同步複製，轉而使用異步複製。當master dump線程發送完一個事務的全部事件以後，若是在rpl_semi_sync_master_timeout內，收到了從庫的響應，則主從又從新恢復爲半同步複製。
    
   下面來測試一下
   

 
該驗證分爲三個階段
 

1. 在Slave執行stop slave以前，主的insert操做很快就能返回。
2. 在Slave執行stop slave後，主的insert操做須要10.01s才返回，而這與rpl_semi_sync_master_timeout參數的時間相吻合。
   這時，查看兩個狀態的值，均爲「OFF」了。
   同時，主的error.log中打印以下信息：
   2016-08-05T11:51:49.855452Z 6 [Warning] Timeout waiting for reply of binlog (file: mysql-bin.000003, pos: 1447), semi-sync up to file mysql-bin.000003, position 1196.2016-08-05T11:51:49.855742Z 6 [Note] Semi-sync replication switched OFF.
    
3. 在Slave執行start slave後，主的insert操做很快就能返回，此時，兩個狀態的值也變爲「ON」了。 同時，主的error.log中會打印以下信息： 2016-08-05T11:52:40.477098Z 7 [Note] Start binlog_dump to master_thread_id(7) slave_server(2), pos(mysql-bin.000003, 1196)2016-08-05T11:52:40.477168Z 7 [Note] Start semi-sync binlog_dump to slave (server_id: 2), pos(mysql-bin.000003, 1196)2016-08-05T11:52:40.523475Z 0 [Note] Semi-sync replication switched ON at (mysql-bin.000003, 1447)   其它變量 環境變量 mysql> show variables like '%Rpl%'; +-------------------------------------------+------------+ | Variable_name | Value | +-------------------------------------------+------------+ | rpl_semi_sync_master_enabled | ON | | rpl_semi_sync_master_timeout | 10000 | | rpl_semi_sync_master_trace_level | 32 | | rpl_semi_sync_master_wait_for_slave_count | 1 | | rpl_semi_sync_master_wait_no_slave | ON | | rpl_semi_sync_master_wait_point | AFTER_SYNC | | rpl_stop_slave_timeout | 31536000 | +-------------------------------------------+------------+ 7 rows in set (0.30 sec)   rpl_semi_sync_master_wait_for_slave_count MySQL 5.7.3引入的，該變量設置主須要等待多少個slave應答，才能返回給客戶端，默認爲1。   rpl_semi_sync_master_wait_no_slave ON 默認值，當狀態變量Rpl_semi_sync_master_clients中的值小於rpl_semi_sync_master_wait_for_slave_count時，Rpl_semi_sync_master_status依舊顯示爲ON。 OFF 當狀態變量Rpl_semi_sync_master_clients中的值於rpl_semi_sync_master_wait_for_slave_count時，Rpl_semi_sync_master_status當即顯示爲OFF，即異步複製。 說得直白一點，若是個人架構是1主2從，2個從都採用了半同步複製，且設置的是rpl_semi_sync_master_wait_for_slave_count=2，若是其中一個掛掉了，對於rpl_semi_sync_master_wait_no_slave設置爲ON的狀況，此時顯示的仍然是半同步複製，若是rpl_semi_sync_master_wait_no_slave設置爲OFF，則會馬上變成異步複製。   狀態變量 mysql> show status like '%Rpl_semi%'; +--------------------------------------------+-------+ | Variable_name | Value | +--------------------------------------------+-------+ |Rpl_semi_sync_master_clients | 1 | |Rpl_semi_sync_master_net_avg_wait_time | 0 | | Rpl_semi_sync_master_net_wait_time | 0 | | Rpl_semi_sync_master_net_waits | 6 | | Rpl_semi_sync_master_no_times | 1 | | Rpl_semi_sync_master_no_tx | 1 | | Rpl_semi_sync_master_status | ON | | Rpl_semi_sync_master_timefunc_failures | 0 | |Rpl_semi_sync_master_tx_avg_wait_time | 1120 | | Rpl_semi_sync_master_tx_wait_time | 4483 | | Rpl_semi_sync_master_tx_waits | 4 | | Rpl_semi_sync_master_wait_pos_backtraverse | 0 | | Rpl_semi_sync_master_wait_sessions | 0 | | Rpl_semi_sync_master_yes_tx | 4 | +--------------------------------------------+-------+ 14 rows in set (0.00 sec)   上述狀態變量中，比較重要的有如下幾個   Rpl_semi_sync_master_clients 當前半同步複製從的個數，若是是一主多從的架構，並不包含異步複製從的個數。   Rpl_semi_sync_master_no_tx The number of commits that were not acknowledged successfully by a slave. 具體到上面的測試中，指的是insert into test.test values(2)這個事務。   Rpl_semi_sync_master_yes_tx The number of commits that were acknowledged successfully by a slave. 具體到上面的測試中，指的是如下四個事務 create database test; create table test.test(id int); insert into test.test values(1); insert into test.test values(3);   總結 一、 在一主多從的架構中，若是要開啓半同步複製，並不要求全部的從都是半同步複製。 二、 MySQL 5.7極大的提高了半同步複製的性能。     5.6版本的半同步複製，dump thread 承擔了兩份不一樣且又十分頻繁的任務：傳送binlog 給slave ，還須要等待slave反饋信息，並且這兩個任務是串行的，dump thread 必須等待 slave 返回以後纔會傳送下一個 events 事務。dump thread 已然成爲整個半同步提升性能的瓶頸。在高併發業務場景下，這樣的機制會影響數據庫總體的TPS 。     5.7版本的半同步複製中，獨立出一個 ack collector thread ，專門用於接收slave 的反饋信息。這樣master 上有兩個線程獨立工做，能夠同時發送binlog 到slave ，和接收slave的反饋。