Mysql主從同步(1) - 概念和原理介紹 以及 主從/主主模式 部署記錄

 

Mysql複製概念
Mysql內建的複製功能是構建大型高性能應用程序的基礎, 將Mysql數據分佈到多個系統上,這種分佈機制是經過將Mysql某一臺主機數據複製到其它主機(slaves)上,並從新執行一遍來實現的。複製過程當中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。主服務器將更新寫入二進制日誌文件,並維護文件的一個索引以跟蹤日誌循環。這些日誌能夠記錄發送到從服務器的更新。當一個從服務器鏈接主服務器時,它通知主服務器從服務器在日誌中讀取的最後一次成功更新的位置。從服務器接收從那時起發生的任何更新,而後封鎖並等待主服務器通知新的更新。html

Mysql支持哪些複製
-  基於語句的複製: 在主服務器執行SQL語句,在從服務器執行一樣語句。MySQL默認採用基於語句的複製,效率較高。一旦發現無法精確複製時, 會自動選基於行的複製。
-  基於行的複製: 把改變的內容複製過去,而不是把命令在從服務器上執行一遍. 從mysql5.0開始支持
-  混合類型的複製: 默認採用基於語句的複製,一旦發現基於語句的沒法精確的複製時,就會採用基於行的複製。mysql

Mysql複製解決的問題
-  數據分佈 (Data distribution )
-  負載平衡(load balancing)
-  據備份(Backups) ,保證數據安全
-  高可用性和容錯行(High availability and failover)
-  實現讀寫分離,緩解數據庫壓力linux

Mysql主從複製原理
master服務器將數據的改變都記錄到二進制binlog日誌中,只要master上的數據發生改變,則將其改變寫入二進制日誌;salve服務器會在必定時間間隔內對master二進制日誌進行探測其是否發生改變,若是發生改變,則開始一個I/O Thread請求master二進制事件,同時主節點爲每一個I/O線程啓動一個dump線程,用於向其發送二進制事件,並保存至從節點本地的中繼日誌中,從節點將啓動SQL線程從中繼日誌中讀取二進制日誌,在本地重放,使得其數據和主節點的保持一致,最後I/O Thread和SQL Thread將進入睡眠狀態,等待下一次被喚醒。web

須要理解
-  從庫會生成兩個線程,一個I/O線程,一個SQL線程;
-  I/O線程會去請求主庫的binlog,並將獲得的binlog寫到本地的relay-log(中繼日誌)文件中;
-  主庫會生成一個log dump線程,用來給從庫I/O線程傳binlog;
-  SQL線程,會讀取relay log文件中的日誌,並解析成sql語句逐一執行;算法

這裏注意幾點
-  master將操做語句記錄到binlog日誌中,而後授予slave遠程鏈接的權限(master要開啓binlog二進制日誌功能;一般爲了數據安全考慮,slave也開啓binlog);
-  slave開啓兩個線程:IO線程和SQL線程。其中:IO線程負責讀取master的binlog內容到中繼日誌relay log裏;SQL線程負責從relay log日誌裏讀出binlog內容,並更新到slave的數據庫裏,這樣就能保證slave數據和master數據保持一致了;
-  mysql複製至少須要兩個Mysql的服務,固然Mysql服務能夠分佈在不一樣的服務器上,也能夠在一臺服務器上啓動多個服務;
-  mysql複製最好確保master和slave服務器上的Mysql版本相同(若是不能知足版本一致,那麼要保證master主節點的版本低於slave從節點的版本);
-  master和slave兩節點間時間需同步;sql

Mysql複製流程圖數據庫

如上圖所示:
-  Mysql複製過程的第一部分就是master記錄二進制日誌。在每一個事務更新數據完成以前,master在二日誌記錄這些改變。MySQL將事務串行的寫入二進制日誌,即便事務中的  語句都是交叉執行的。在事件寫入二進制日誌完成後,master通知存儲引擎提交事務;
-  第二部分就是slave將master的binary log拷貝到它本身的中繼日誌。首先,slave開始一個工做線程(I/O線程)。I/O線程在master上打開一個普通的鏈接,而後開始binlog dump process。Binlog dump process從master的二進制日誌中讀取事件,若是已經跟上master,它會睡眠並等待master產生新的事件。I/O線程將這些事件寫入中繼日誌;
-  SQL slave thread(SQL從線程)處理該過程的最後一步。SQL線程從中繼日誌讀取事件,並重放其中的事件而更新slave的數據,使其與master中的數據一致。只要該線程與  I/O線程保持一致,中繼日誌一般會位於OS的緩存中,因此中繼日誌的開銷很小;
-  此外,在master中也有一個工做線程:和其它MySQL的鏈接同樣,slave在master中打開一個鏈接也會使得master開始一個線程。複製過程有一個很重要的限制, 即複製在slave上是串行化的,也就是說master上的並行更新操做不能在slave上並行操做。vim

Mysql複製模式
主從複製: 主庫受權從庫遠程鏈接,讀取binlog日誌並更新到本地數據庫的過程;主庫寫數據後,從庫會自動同步過來(從庫跟着主庫變);
主主複製: 主從相互受權鏈接,讀取對方binlog日誌並更新到本地數據庫的過程;只要對方數據改變,本身就跟着改變;緩存

Mysql主從複製優勢
在從服務器能夠執行查詢工做(即咱們常說的讀功能),下降主服務器壓力;(主庫寫,從庫讀,降壓)
在從主服務器進行備份,避免備份期間影響主服務器服務;(確保數據安全)
當主服務器出現問題時,能夠切換到從服務器。(提高性能)安全

Mysql主從複製工做流程關鍵細節
1) MySQL支持單向、異步複製,複製過程當中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。MySQL複製基於主服務器在二進制日誌中跟蹤全部對數據庫的更改(更新、刪除等等)。所以,要進行復制,必須在主服務器上啓用二進制日誌。每一個從服務器從主服務器接收主服務器上已經記錄到其二進制日誌的保存的更新。當一個從服務器鏈接主服務器時,它通知主服務器定位到從服務器在日誌中讀取的最後一次成功更新的位置。從服務器接收從那時起發生的任何更新,並在本機上執行相同的更新。而後封鎖並等待主服務器通知新的更新。從服務器執行備份不會干擾主服務器,在備份過程當中主服務器能夠繼續處理更新。

2) MySQL使用3個線程來執行復制功能,其中兩個線程(Sql線程和IO線程)在從服務器,另一個線程(IO線程)在主服務器。當發出START SLAVE時,從服務器建立一個I/O線程,以鏈接主服務器並讓它發送記錄在其二進制日誌中的語句。主服務器建立一個線程將二進制日誌中的內容發送到從服務器。該線程能夠即爲主服務器上SHOW PROCESSLIST的輸出中的Binlog Dump線程。從服務器I/O線程讀取主服務器Binlog Dump線程發送的內容並將該數據拷貝到從服務器數據目錄中的本地文件中,即中繼日誌。第3個線程是SQL線程,由從服務器建立,用於讀取中繼日誌並執行日誌中包含的更新。在從服務器上,讀取和執行更新語句被分紅兩個獨立的任務。當從服務器啓動時,其I/O線程能夠很快地從主服務器索取全部二進制日誌內容,即便SQL線程執行更新的遠遠滯後。

                       mysql 主從複製注意事項小結                        

Mysql主從數據完成同步的過程
1) 在Slave 服務器上執行sart slave命令開啓主從複製開關,開始進行主從複製。
2) 此時,Slave服務器的IO線程會經過在master上已經受權的複製用戶權限請求鏈接master服務器,並請求從執行binlog日誌文件的指定位置(日誌文件名和位置就是在配置主從複製服務時執行change master命令指定的)以後開始發送binlog日誌內容
3) Master服務器接收到來自Slave服務器的IO線程的請求後,其上負責複製的IO線程會根據Slave服務器的IO線程請求的信息分批讀取指定binlog日誌文件指定位置以後的binlog日誌信息,而後返回給Slave端的IO線程。返回的信息中除了binlog日誌內容外,還有在Master服務器端記錄的IO線程。返回的信息中除了binlog中的下一個指定更新位置。
4) 當Slave服務器的IO線程獲取到Master服務器上IO線程發送的日誌內容、日誌文件及位置點後,會將binlog日誌內容依次寫到Slave端自身的Relay Log(即中繼日誌)文件(Mysql-relay-bin.xxx)的最末端,並將新的binlog文件名和位置記錄到master-info文件中,以便下一次讀取master端新binlog日誌時能告訴Master服務器重新binlog日誌的指定文件及位置開始讀取新的binlog日誌內容
5) Slave服務器端的SQL線程會實時檢測本地Relay Log 中IO線程新增的日誌內容,而後及時把Relay LOG 文件中的內容解析成sql語句,並在自身Slave服務器上按解析SQL語句的位置順序執行應用這樣sql語句,並在relay-log.info中記錄當前應用中繼日誌的文件名和位置點.

主從複製條件
-  開啓Binlog功能
-  主庫要創建帳號
-  從庫要配置master.info (CHANGE MASTER to...至關於配置密碼文件和Master的相關信息)
-  start slave 開啓複製功能

主從複製時須要理解
-  3個線程,主庫IO,從庫IO和SQL及做用
-  master.info(從庫)做用
-  relay-log 做用
-  異步複製
-  binlog做用 (若是須要級聯須要開啓Binlog)

主從複製時注意事項
-  主從複製是異步邏輯的SQL語句級的複製
-  複製時,主庫有一個I/O線程,從庫有兩個線程,I/O和SQL線程
-  實現主從複製的必要條件是主庫要開啓記錄binlog功能
-  做爲複製的全部Mysql節點的server-id都不能相同
-  binlog文件只記錄對數據庫有更改的SQL語句(來自主庫內容的變動),不記錄任何查詢(select,show)語句

完全解除主從複製關係
-  stop slave;
-  reset slave; 或直接刪除master.info和relay-log.info這兩個文件;
-  修改my.cnf刪除主從相關配置參數。

讓slave不隨MySQL自動啓動

修改my.cnf 在[mysqld]中增長"skip-slave-start"選項。

主從複製實現後,使用mysqldump備份數據時,注意按照下面方式

# mysqldump --master-data --single-transaction --user=username --password=password dbname> dumpfilename
這樣就能夠保留 file 和 position 的信息,在新搭建一個slave時,還原完數據庫, file 和 position 的信息也隨之更新,接着再執行"start slave"就能夠很迅速的完成增量同步!

須要限定同步哪些數據庫,有3個思路
-  在執行grant受權的時候就限定數據庫;
-  在主服務器上限定binlog_do_db = 數據庫名;
-  主服務器上不限定數據庫,在從服務器上限定replicate-do-db = 數據庫名;

若是想實現"主-從(主)-從" 這樣的鏈條式結構,須要設置

log-slave-updates              #只有加上它,從前一臺機器上同步過來的數據才能同步到下一臺機器。
log-bin=/opt/mysql/binlogs/bin-log           #二進制日誌也必須開啓
log-bin-index=/opt/mysql/binlogs/bin-log.index
expire_logs_days=14            # 還能夠設置一個log保存週期

                       Mysql主從同步時過濾部分庫或表的設置                     

Mysql複製過濾
讓從節點僅僅複製指定的數據庫,或指定數據庫的指定數據表。主服務器有10個數據庫,而從節點只須要同步其中的一兩個數據庫。這個時候就須要複製過濾。複製過濾器能夠在主節點中實現,也能夠在從節點中實現。Mysql主從同步部分數據有兩個思路:  master只發送須要的;Slave只接收想要的。

master主節點
在主節點的二進制事件日誌中僅記錄與指定數據庫(數據表)相關的事件日誌,可是主節點的二進制日誌不完整,沒有記錄全部對主節點的修改操做。若是要使用該方式,則在主節點的配置文件中添加以下參數:

binlog_do_db="***,***,***";      #數據庫白名單列表,二進制日誌記錄的數據庫(多數據庫用逗號隔開或重複設置多行),即須要同步的庫.不在內的不一樣步。(不添加這行表示同步全部)
binlog_ingore_db="***,***,***";  #數據庫黑名單列表, 二進制日誌中忽略的數據庫 (多數據庫用逗號隔開或重複設置多行),即不須要同步,要過濾掉的庫.

slave從節點
從服務器SQL Thread在Replay中繼日誌中的事件時僅讀取於特定數據庫相關的事件,並應用於本地. (可是浪費I/O ,浪費帶寬) 推薦使用從節點複製過濾相關設置項:

replicate_do_db ="webdb";         #複製庫的白名單. 設定須要複製的數據庫(多數據庫使用逗號隔開或重複設置多行)
replicate_ingore_db ="mysql";     #複製庫的黑名單. 設定須要忽略的複製數據庫 (多數據庫使用逗號隔開或重複設置多行)
replicate_do_table="webdb.user";  #複製表的白名單. 設定須要複製的表(多數據庫使用逗號隔開或重複設置多行)
relicate_ingore_table="webdb.uw"; #複製表的黑名單. 設定須要忽略的複製的表(多數據庫使用逗號隔開或重複設置多行)
  
replicate-wild-do-table           #同replication-do-table功能同樣,可是能夠通配符. 更高級別的應用,通配符,應用到哪一類表的。
replicate-wild-ignore-table       #同replication-ignore-table功能同樣,可是能夠加通配符.

當在主庫存在的庫而從庫不存在的庫同步時,會出現sql錯誤,這時候能夠排除或者從庫手動導入主庫數據庫;

從庫可使用通配符"庫名.%"方式過濾主從同步時某個庫的設置

replicate-wild-do-table=webdb.%      #只複製webdb庫下的全部表
replicate-wild-ignore-table=mysql.%  #忽略mysql庫下的全部表

特別注意: 生產庫上通常不建議設置過濾規則, 若是非要設置, 強烈建議從庫使用通配符方式過濾某個庫

replicate-wild-do-table= "庫名.%"
replicate-wild-ignore-table= "庫名.%"

而不建議從庫使用DB方式過濾某個庫:

replicate_do_db ="庫名"
replicate_ingore_db ="庫名"

                                                                                 mysql主從/主主同步環境部署記錄                                                                          

1)環境描述

mysql的安裝能夠參考:http://www.cnblogs.com/kevingrace/p/6109679.html
Centos6.8版本
master:182.148.15.238       
slave: 182.148.15.237  
 
注意下面幾點:
1)要保證同步服務期間之間的網絡聯通。即能相互ping通,能使用對方受權信息鏈接到對方數據庫(防火牆開放3306端口)。
2)關閉selinux。
3)同步前,雙方數據庫中須要同步的數據要保持一致。這樣,同步環境實現後,再次更新的數據就會如期同步了。

2)主從複製實現過程記錄

爲了測試效果,先在master機器上建立測試庫
mysql> CREATE DATABASE huanqiu CHARACTER SET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
    
mysql> use huanqiu;
Database changed
mysql> create table if not exists haha (id int(10) PRIMARY KEY AUTO_INCREMENT,name varchar(50) NOT NULL);
Query OK, 0 rows affected (0.02 sec)
    
mysql> insert into huanqiu.haha values(1,"wangshibo"),(2,"guohuihui");
Query OK, 2 rows affected (0.00 sec)
Records: 2  Duplicates: 0  Warnings: 0
    
mysql> select * from huanqiu.haha;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | wangshibo |
|  2 | guohuihui |
+----+-----------+
2 rows in set (0.00 sec)
    
--------------------------------------------------------------------
舒適提示:
修改庫或表的字符集
mysql> alter database huanqiu default character set utf8;    //修改huanqiu庫的字符集
mysql> alter table huanqiu.haha default character set utf8;  //修改huanqiu.haha表的字符集
    
添加主鍵
mysql> Alter table huanqiu.haha add primary key(id);     //將huanqiu.haha表的id添加主鍵
mysql> Alter table huanqiu.haha change id id int(10) not null auto_increment;  //自增加屬性
    
刪除主鍵時要先刪除自增加,再刪除主鍵
mysql> Alter table huanqiu.haha change id id int(10);    //刪除自增加
mysql> Alter table huanqiu.haha drop primary key;     //刪除主建
--------------------------------------------------------------------
    
下面是master數據庫上的操做:
1)設置master數據庫的my.cnf文件(在[mysqld]配置區域添加下面內容)
[root@master ~]# vim /usr/local/mysql/my.cnf
.......
server-id=1        #數據庫惟一ID,主從的標識號絕對不能重複。
log-bin=mysql-bin    #開啓bin-log,並指定文件目錄和文件名前綴
binlog-do-db=huanqiu  #須要同步的數據庫。若是是多個同步庫,就以此格式另寫幾行便可。若是不指明對某個具體庫同步,就去掉此行,表示同步全部庫(除了ignore忽略的庫)。
binlog-ignore-db=mysql  #不一樣步mysql系統數據庫。若是是多個不一樣步庫,就以此格式另寫幾行;也能夠在一行,中間逗號隔開。
sync_binlog = 1      #確保binlog日誌寫入後與硬盤同步
binlog_checksum = none  #跳過現有的採用checksum的事件,mysql5.6.5之後的版本中binlog_checksum=crc32,而低版本都是binlog_checksum=none
binlog_format = mixed   #bin-log日誌文件格式,設置爲MIXED能夠防止主鍵重複。
    
--------------------------------------------------------------------------------
舒適提示:在主服務器上最重要的二進制日誌設置是sync_binlog,這使得mysql在每次提交事務的時候把二進制日誌的內容同步到磁盤上,即便服務器崩潰也會把事件寫入日誌中。
sync_binlog這個參數是對於MySQL系統來講是相當重要的,他不只影響到Binlog對MySQL所帶來的性能損耗,並且還影響到MySQL中數據的完整性。對於"sync_binlog"參數的各類設置的說明以下:
sync_binlog=0,當事務提交以後,MySQL不作fsync之類的磁盤同步指令刷新binlog_cache中的信息到磁盤,而讓Filesystem自行決定何時來作同步,或者cache滿了以後才同步到磁盤。
sync_binlog=n,當每進行n次事務提交以後,MySQL將進行一次fsync之類的磁盤同步指令來將binlog_cache中的數據強制寫入磁盤。
     
在MySQL中系統默認的設置是sync_binlog=0,也就是不作任何強制性的磁盤刷新指令,這時候的性能是最好的,可是風險也是最大的。由於一旦系統Crash,在binlog_cache中的全部binlog信息都會被丟失。而當設置爲「1」的時候,是最安全可是性能損耗最大的設置。由於當設置爲1的時候,即便系統Crash,也最多丟失binlog_cache中未完成的一個事務,對實際數據沒有任何實質性影響。
     
從以往經驗和相關測試來看,對於高併發事務的系統來講,「sync_binlog」設置爲0和設置爲1的系統寫入性能差距可能高達5倍甚至更多。
--------------------------------------------------------------------------------
    
2)導出master數據庫多餘slave數據庫中的數據,而後導入到slave數據庫中。保證雙方在同步環境實現前的數據一致。
  導出數據庫以前先鎖定數據庫
  mysql> flush tables with read lock;    #數據庫只讀鎖定命令,防止導出數據庫的時候有數據寫入。unlock tables命令解除鎖定
    
  導出master數據庫中多餘的huanqiu庫(master數據庫的root用戶登錄密碼:123456)
  [root@master ~]# mysqldump -uroot huanqiu -p123456 >/opt/huanqiu.sql
  [root@master ~]# rsync  -e "ssh -p22" -avpgolr /opt/huanqiu.sql 182.148.15.237:/opt/   #將導出的sql文件上傳到slave機器上
    
3)設置數據同步權限
  mysql> grant replication slave,replication client on *.* to slave@'182.148.15.237' identified by "slave@123";
  Query OK, 0 rows affected (0.02 sec)
  mysql> flush privileges;
  Query OK, 0 rows affected (0.00 sec)
 
--------------------------------------------------------------------------------
舒適提示:
權限查看方式
mysql> show grants;
mysql> show grants for slave@'182.148.1115.237';
--------------------------------------------------------------------------------
 
4)查看主服務器master狀態(注意File與Position項,從服務器須要這兩項參數)
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000007 |      120 | huanqiu      | mysql            |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
    
    
下面是slave數據庫上的操做:
1)設置slave數據庫的my.cnf配置文件
[root@master ~]# vim /usr/local/mysql/my.cnf
.......
server-id=2   #設置從服務器id,必須於主服務器不一樣
log-bin=mysql-bin   #啓動MySQ二進制日誌系統
replicate-do-db=huanqiu  #須要同步的數據庫名。若是不指明同步哪些庫,就去掉這行,表示全部庫的同步(除了ignore忽略的庫)。
replicate-ignore-db=mysql  #不一樣步mysql系統數據庫
slave-skip-errors = all   #跳過全部的錯誤錯誤,繼續執行復制操做
    
-----------------------------------------------------------------------------------------------
舒適提示:
當只針對某些庫的某張表進行同步時,以下,只同步huanqiu庫的haha表和huanpc庫的heihei表:
replicate-do-db = huanqiu
replicate-wild-do-table = huanqiu.haha       //當只同步幾個或少數表時,能夠這樣設置。注意這要跟上面的庫指定配合使用;
replicate-do-db = huanpc
replicate-wild-do-table = huanpc.heihei      //若是同步的庫的表比較多時,就不能這樣一一指定了,就把這個選項配置去掉,直接根據指定的庫進行同步。
-----------------------------------------------------------------------------------------------
    
2)在slave數據庫中導入從master傳過來的數據。
mysql> CREATE DATABASE huanqiu CHARACTER SET utf8 COLLATE utf8_general_ci;   #先建立一個huanqiu空庫,不然下面導入數據時會報錯說此庫不存在。
mysql> use huanqiu;
mysql> source /opt/huanqiu.sql;   #導入master中多餘的數據。
.......
    
3)配置主從同步指令
mysql> stop slave;   #執行同步前,要先關閉slave
mysql> change  master to master_host='182.148.15.238',master_user='slave',master_password='slave@123',master_log_file='mysql-bin.000007',master_log_pos=120;
    
mysql> start slave;
mysql> show slave status \G;
.......
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 182.148.15.238
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000007
          Read_Master_Log_Pos: 120
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 279
        Relay_Master_Log_File: mysql-bin.000007
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: huanqiu
          Replicate_Ignore_DB: mysql
           .............
        Seconds_Behind_Master: 0
    
如上,當IO和SQL線程的狀態均爲Yes,則表示主從已實現同步了!
    
查看slave數據庫中的數據狀況
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| huanqiu            |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)
    
mysql> select * from huanqiu.haha;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | wangshibo |
|  2 | guohuihui |
+----+-----------+
2 rows in set (0.00 sec)
    
下面測試下Mysql主從同步的效果
如今主數據庫上寫入新數據
mysql> unlock tables;    #解鎖,不然新數據沒法寫入
mysql> insert into huanqiu.haha values(100,"anhui");
Query OK, 1 row affected (0.00 sec)
    
而後在slave數據庫上查看,發現master上新寫入的數據已經同步過來了
mysql> select * from huanqiu.haha;
+-----+-----------+
| id  | name      |
+-----+-----------+
|   1 | wangshibo |
|   2 | guohuihui |
| 100 | anhui     |
+-----+-----------+
3 rows in set (0.00 sec)
    
至此,主從同步環境已經實現!

                                                                                                                                             
Mysql主從環境部署一段時間後,發現主從不一樣步時,如何進行數據同步至一致?
有如下兩種作法:
1)參考:mysql主從同步(2)-問題梳理 中的第(4)步的第二種方法
2)參考:mysql主從同步(3)-percona-toolkit工具(數據一致性監測、延遲監控)使用梳理
                                                                                                                                              

舒適提示:在實際業務場景中,mysq主從同步時最好別過濾庫,即最好進行基於整個數據庫的同步配置。若是業務庫比較多的狀況下,可以使用mysql多實例方式進行同步,一個業務庫對應一個mysql實例,每一個mysql實例作基於它的整個數據庫的同步配置。使用過濾庫或過濾表的方式進行主從同步配置,後續會帶來一些比較麻煩的坑。

從庫同步主庫的命令調整爲:
"change master to master_host = '主數據庫ip', master_port = 主數據庫mysql端口, master_user ='同步的用戶', master_password ='同步的密碼';"

針對上面的主從配置,調整爲基於整個數據庫的主從同步配置,調整後的配置:

主數據庫的my.cnf配置:
server-id=1
log-bin=mysql-bin
sync_binlog = 1
binlog_checksum = none
binlog_format = mixed

從數據庫的my.cnf配置:
server-id=2
log-bin=mysql-bin
slave-skip-errors = all

從庫同步主庫的命令以下(即不須要跟master_log_file 和 master_log_pos=120)
mysql> change master to master_host = '182.148.15.238', master_port = 3306, master_user ='slave', master_password ='slave@123';

                                                                                                                                                     

3)主主複製實現過程記錄

根據上面的主從環境部署,master和slave已經實現同步,即在master上寫入新數據,自動同步到slave。而從庫只能讀不能寫,一旦從庫有寫入數據,就會形成主從數據不一致!
下面就說下Mysql主主複製環境,在slave上更新數據時,master也能自動同步過來。
---------------------------------------------------------------------------
舒適提示:
在作主主同步前,提醒下須要特別注意的一個問題:
主主複製和主從複製有一些區別,由於多主中均可以對服務器有寫權限,因此設計到自增加重複問題,例如:
出現的問題(多主自增加ID重複)
1)首先在A和B兩個庫上建立test表結構;
2)停掉A,在B上對數據表test(存在自增加屬性的ID字段)執行插入操做,返回插入ID爲1;
3)而後停掉B,在A上對數據表test(存在自增加屬性的ID字段)執行插入操做,返回的插入ID也是1;
4)而後 同時啓動A,B,就會出現主鍵ID重複
  
解決方法:
只要保證兩臺服務器上的數據庫裏插入的自增加數據不一樣就能夠了
如:A插入奇數ID,B插入偶數ID,固然若是服務器多的話,還能夠自定義算法,只要不一樣就能夠了
在下面例子中,在兩臺主主服務器上加入參數,以實現奇偶插入!
記住:在作主主同步時須要設置自增加的兩個相關配置,以下:
auto_increment_offset       表示自增加字段從那個數開始,取值範圍是1 .. 65535。這個就是序號。若是有n臺mysql機器,則從第一臺開始分爲設1,2...n
auto_increment_increment    表示自增加字段每次遞增的量,其默認值是1,取值範圍是1 .. 65535。若是有n臺mysql機器,這個值就設置爲n。
 
在主主同步配置時,須要將兩臺服務器的:
auto_increment_increment     增加量都配置爲2
auto_increment_offset        分別配置爲1和2。這是序號,第一臺從1開始,第二臺就是2,以此類推!這樣效果就是:master的數據id是1,3,5,7..., slave的數據id是2,4,6,8....
這樣才能夠避免兩臺服務器同時作更新時自增加字段的值之間發生衝突。(針對的是有自增加屬性的字段)
---------------------------------------------------------------------------
 
如今記錄下主主同步的操做過程:
1)在master上的my.cnf配置:
[root@master ~]# vim /usr/local/mysql/my.cnf
server-id = 1        
log-bin = mysql-bin  
binlog-ignore-db = mysql,information_schema
sync_binlog = 1
binlog_checksum = none
binlog_format = mixed
auto-increment-increment = 2    
auto-increment-offset = 1   
slave-skip-errors = all     
   
[root@master ~]# /etc/init.d/mysql restart
Shutting down MySQL. SUCCESS!
Starting MySQL.. SUCCESS!
 
數據同步受權(iptables防火牆開啓3306端口,要確保對方機器能使用下面權限鏈接到本機mysql)
mysql> grant replication slave,replication client on *.* to slave@'182.148.15.237' identified by "slave@123";
mysql> flush privileges;
 
最好將庫鎖住,僅僅容許讀,以保證數據一致性;待主主同步環境部署後再解鎖;鎖住後,就不能往表裏寫數據,可是重啓mysql服務後就會自動解鎖!
mysql> FLUSH TABLES WITH READ LOCK;    //注意該參數設置後,若是本身同步對方數據,同步前必定要記得先解鎖!
Query OK, 0 rows affected (0.00 sec)
   
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |     1970 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
 
2)slave數據庫上
[root@slave ~]# vim /usr/local/mysql/my.cnf
server-id = 2       
log-bin = mysql-bin  
binlog-ignore-db = mysql,information_schema
sync_binlog = 1
binlog_checksum = none
binlog_format = mixed
auto-increment-increment = 2    
auto-increment-offset = 2   
slave-skip-errors = all
 
[root@slave ~]# /etc/init.d/mysql restart
Shutting down MySQL. SUCCESS!
Starting MySQL.. SUCCESS!
 
數據同步受權(iptables防火牆開啓3306端口,要確保對方機器能使用下面權限鏈接到本機mysql)
同理,slave也要受權給master機器遠程同步數據的權限
mysql> grant replication slave ,replication client on *.* to slave@'182.148.15.238' identified by "slave@123";  
mysql> flush privileges;
 
mysql> FLUSH TABLES WITH READ LOCK;
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |     4136 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
 
3)執行主主同步操做
先在slave數據庫上作同步master的設置。(確保slave上要同步的數據,提早在master上存在。最好雙方數據保持一致)
mysql> unlock tables;     //先解鎖,將對方數據同步到本身的數據庫中
mysql> slave stop;
mysql> change master to master_host='182.148.15.238',master_user='slave',master_password='slave@123',master_log_file='master-bin.000001',master_log_pos=1970;
 
mysql> start slave;
mysql> show slave status \G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 182.148.15.238
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 1970
               Relay_Log_File: mysql-relay-bin.000003
                Relay_Log_Pos: 750
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
            ..................
 
這樣就實現了slave->master的同步環境。
 
 
再在master數據庫上作同步slave的設置。(確保slave上要同步的數據,提早在master上存在。最好雙方數據保持一致)
mysql> unlock tables;
mysql> slave stop;
mysql> change master to master_host='182.148.15.237',master_user='slave',master_password='slave@123',master_log_file='master-bin.000001',master_log_pos=4136;
 
mysql> start slave;
mysql> show slave status \G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 182.148.15.237
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 4136
               Relay_Log_File: mysql-relay-bin.000003
                Relay_Log_Pos: 750
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
            ..................
 
這樣就實現了master->slave的同步環境。至此,主主雙向同步環境已經實現!

測試下Mysql主主同步的效果
在master上寫入新數據
mysql> select * from huanqiu.haha;
+-----+-----------+
| id  | name      |
+-----+-----------+
|   1 | wangshibo |
|   2 | guohuihui |
| 100 | anhui     |
+-----+-----------+
3 rows in set (0.00 sec)
 
mysql> insert into huanqiu.haha values(15,"guocongcong");
 
在slave數據庫中查看,發現master新寫入的數據已經同步過來了
mysql> select * from huanqiu.haha;
+-----+------------+
| id  | name       |
+-----+------------+
|   1 | wangshibo  |
|   2 | guohuihui  |
|  15 | guocongcong|
| 100 | anhui      |
+-----+------------+
3 rows in set (0.00 sec)
 
在slave上刪除數據
mysql> delete from huanqiu.haha where id=100;
 
在master數據庫中查看
mysql> select * from huanqiu.haha;
+-----+------------+
| id  | name       |
+-----+------------+
|   1 | wangshibo  |
|   2 | guohuihui  |
|  15 | guocongcong|
+-----+------------+
3 rows in set (0.00 sec)
相關文章
相關標籤/搜索