MySQL主從複製--原理

簡介

Mysql內建的複製功能是構建大型，高性能應用程序的基礎。將Mysql的數據分佈到多個系統上去，這種分佈的機制，是經過將Mysql的某一臺主機的數據複製到其它主機（slaves）上，並從新執行一遍來實現的。
複製過程當中一個服務器充當主服務器，而一個或多個其它服務器充當從服務器。主服務器將更新寫入二進制日誌文件，並維護文件的一個索引以跟蹤日誌循環。這些日誌能夠記錄發送到從服務器的更新。
當一個從服務器鏈接主服務器時，它通知主服務器從服務器在日誌中讀取的最後一次成功更新的位置。從服務器接收從那時起發生的任何更新，而後封鎖並等待主服務器通知新的更新。
----------------------------------------------------------------------------------------------------------
須要注意的是：
在進行mysql複製時，全部對複製中的表的更新必須在主服務器上進行。不然必需要當心，以免用戶對主服務器上的表進行的更新與對從服務器上的表所進行的更新之間的衝突。
----------------------------------------------------------------------------------------------------------

1）Mysql支持那些複製
1--基於語句的複製： 在主服務器上執行的SQL語句，在從服務器上執行一樣的語句。MySQL默認採用基於語句的複製，效率比較高。一旦發現無法精確複製時，會自動選着基於行的複製。
2--基於行的複製： 把改變的內容複製過去，而不是把命令在從服務器上執行一遍. 從mysql5.0開始支持
3--混合類型的複製: 默認採用基於語句的複製，一旦發現基於語句的沒法精確的複製時，就會採用基於行的複製。

2）Mysql複製能解決的問題
1--數據分佈 (Data distribution )
2--負載平衡(load balancing)
3--數據備份(Backups) ，保證數據安全
4--高可用性和容錯行(High availability and failover)
5--實現讀寫分離，緩解數據庫壓力

3）Mysql主從複製原理
master服務器將數據的改變記錄二進制binlog日誌，當master上的數據發生改變時，則將其改變寫入二進制日誌中；
slave服務器會在必定時間間隔內對master二進制日誌進行探測其是否發生改變，若是發生改變，則開始一個I/OThread請求master二進制事件，
同時主節點爲每一個I/O線程啓動一個dump線程，用於向其發送二進制事件，並保存至從節點本地的中繼日誌中，從節點將啓動SQL線程從中繼日誌中讀取二進制日誌，在本地重放，
使得其數據和主節點的保持一致，最後I/OThread和SQLThread將進入睡眠狀態，等待下一次被喚醒。

也就是說:
- 從庫會生成兩個線程,一個I/O線程,一個SQL線程;
- I/O線程會去請求主庫的binlog,並將獲得的binlog寫到本地的relay-log(中繼日誌)文件中;
- 主庫會生成一個log dump線程,用來給從庫I/O線程傳binlog;
- SQL線程,會讀取relay log文件中的日誌,並解析成sql語句逐一執行;

注意幾點：
1--master將操做語句記錄到binlog日誌中，而後授予slave遠程鏈接的權限（master必定要開啓binlog二進制日誌功能；一般爲了數據安全考慮，slave也開啓binlog功能）。
2--slave開啓兩個線程：IO線程和SQL線程。其中：IO線程負責讀取master的binlog內容到中繼日誌relay log裏；SQL線程負責從relay log日誌裏讀出binlog內容，並更新到slave的數據庫裏，這樣就能保證slave數據和master數據保持一致了。
3--Mysql複製至少須要兩個Mysql的服務，固然Mysql服務能夠分佈在不一樣的服務器上，也能夠在一臺服務器上啓動多個服務。
4--Mysql複製最好確保master和slave服務器上的Mysql版本相同（若是不能知足版本一致，那麼要保證master主節點的版本低於slave從節點的版本）
5--master和slave兩節點間時間需同步

 

 

如上圖所示：
Mysql複製過程的第一部分就是master記錄二進制日誌。在每一個事務更新數據完成以前，master在二進制日誌記錄這些改變。MySQL將事務串行的寫入二進制日誌，即便事務中的語句都是交叉執行的。在事件寫入二進制日誌完成後，master通知存儲引擎提交事務。

第二部分就是slave將master的binary log拷貝到它本身的中繼日誌。首先，slave開始一個工做線程——I/O線程。I/O線程在master上打開一個普通的鏈接，而後開始binlog dump process。Binlog dump process從master的二進制日誌中讀取事件，若是已經跟上master，它會睡眠並等待master產生新的事件。I/O線程將這些事件寫入中繼日誌。
SQL slave thread（SQL從線程）處理該過程的最後一步。SQL線程從中繼日誌讀取事件，並重放其中的事件而更新slave的數據，使其與master中的數據一致。只要該線程與I/O線程保持一致，中繼日誌一般會位於OS的緩存中，因此中繼日誌的開銷很小。

此外，在master中也有一個工做線程：和其它MySQL的鏈接同樣，slave在master中打開一個鏈接也會使得master開始一個線程。複製過程有一個很重要的限制——複製在slave上是串行化的，也就是說master上的並行更新操做不能在slave上並行操做。

4）Mysql複製的模式
1--主從複製：主庫受權從庫遠程鏈接，讀取binlog日誌並更新到本地數據庫的過程；主庫寫數據後，從庫會自動同步過來（從庫跟着主庫變）；
2--主主複製：主從相互受權鏈接，讀取對方binlog日誌並更新到本地數據庫的過程；只要對方數據改變，本身就跟着改變；

5）Mysql主從複製的優勢
1--在從服務器能夠執行查詢工做(即咱們常說的讀功能)，下降主服務器壓力;（主庫寫，從庫讀，降壓）
2--在從主服務器進行備份，避免備份期間影響主服務器服務;（確保數據安全）
3--當主服務器出現問題時，能夠切換到從服務器。（提高性能）

6）Mysql主從複製工做流程細節
1）MySQL支持單向、異步複製，複製過程當中一個服務器充當主服務器，而一個或多個其它服務器充當從服務器。MySQL複製基於主服務器在二進制日誌中跟蹤全部對數據庫的更改(更新、刪除等等)。
所以，要進行復制，必須在主服務器上啓用二進制日誌。每一個從服務器從主服務器接收主服務器上已經記錄到其二進制日誌的保存的更新。
當一個從服務器鏈接主服務器時，它通知主服務器定位到從服務器在日誌中讀取的最後一次成功更新的位置。從服務器接收從那時起發生的任何更新，並在本機上執行相同的更新。而後封鎖並等待主服務器通知新的更新。
從服務器執行備份不會干擾主服務器，在備份過程當中主服務器能夠繼續處理更新。

2）MySQL使用3個線程來執行復制功能，其中兩個線程(Sql線程和IO線程)在從服務器，另一個線程(IO線程)在主服務器。
當發出START SLAVE時，從服務器建立一個I/O線程，以鏈接主服務器並讓它發送記錄在其二進制日誌中的語句。
主服務器建立一個線程將二進制日誌中的內容發送到從服務器。該線程能夠即爲主服務器上SHOW PROCESSLIST的輸出中的Binlog Dump線程。
從服務器I/O線程讀取主服務器Binlog Dump線程發送的內容並將該數據拷貝到從服務器數據目錄中的本地文件中，即中繼日誌。
第3個線程是SQL線程，由從服務器建立，用於讀取中繼日誌並執行日誌中包含的更新。在從服務器上，讀取和執行更新語句被分紅兩個獨立的任務。
當從服務器啓動時，其I/O線程能夠很快地從主服務器索取全部二進制日誌內容，即便SQL線程執行更新的遠遠滯後。

7）幾點總結
主從數據完成同步的過程：
1) 在Slave 服務器上執行sart slave命令開啓主從複製開關，開始進行主從複製。

2) 此時，Slave服務器的IO線程會經過在master上已經受權的複製用戶權限請求鏈接master服務器，並請求從執行binlog日誌文件的指定位置（日誌文件名和位置就是
在配置主從複製服務時執行change master命令指定的）以後開始發送binlog日誌內容

3) Master服務器接收到來自Slave服務器的IO線程的請求後，其上負責複製的IO線程會根據Slave服務器的IO線程請求的信息分批讀取指定binlog日誌文件指定位置以後
的binlog日誌信息，而後返回給Slave端的IO線程。返回的信息中除了binlog日誌內容外，還有在Master服務器端記錄的IO線程。返回的信息中除了binlog中的下一個
指定更新位置。

4) 當Slave服務器的IO線程獲取到Master服務器上IO線程發送的日誌內容、日誌文件及位置點後，會將binlog日誌內容依次寫到Slave端自身的Relay Log（即中繼日誌）
文件（Mysql-relay-bin.xxx）的最末端，並將新的binlog文件名和位置記錄到master-info文件中，以便下一次讀取master端新binlog日誌時能告訴Master服務器從
新binlog日誌的指定文件及位置開始讀取新的binlog日誌內容

5) Slave服務器端的SQL線程會實時檢測本地Relay Log 中IO線程新增的日誌內容，而後及時把Relay LOG 文件中的內容解析成sql語句，並在自身Slave服務器上按解析
SQL語句的位置順序執行應用這樣sql語句，並在relay-log.info中記錄當前應用中繼日誌的文件名和位置點.

8）主從複製條件
1）開啓Binlog功能
2）主庫要創建帳號
3）從庫要配置master.info（CHANGE MASTER to...至關於配置密碼文件和Master的相關信息）
4）start slave 開啓複製功能

須要瞭解的：
1）3個線程，主庫IO，從庫IO和SQL及做用
2）master.info（從庫）做用
3）relay-log 做用
4）異步複製
5）binlog做用（若是須要級聯須要開啓Binlog）

須要注意：
1）主從複製是異步的邏輯的SQL語句級的複製
2）複製時，主庫有一個I/O線程，從庫有兩個線程，I/O和SQL線程
3）實現主從複製的必要條件是主庫要開啓記錄binlog功能
4）做爲複製的全部Mysql節點的server-id都不能相同
5）binlog文件只記錄對數據庫有更改的SQL語句（來自主庫內容的變動），不記錄任何查詢（select，show）語句

 

============================================================
完全解除主從複製關係
1)stop slave;
2)reset slave; 或直接刪除master.info和relay-log.info這兩個文件；
3)修改my.cnf刪除主從相關配置參數。
讓slave不隨MySQL自動啓動
修改my.cnf 在[mysqld]中增長 skip-slave-start 選項。

作了MySQL主從複製之後，使用mysqldump對數據備份時，必定要注意按照以下方式：
mysqldump --master-data --single-transaction --user=username --password=password dbname> dumpfilename
這樣就能夠保留 file 和 position 的信息，在新搭建一個slave的時候，還原完數據庫， file 和 position 的信息也隨之更新，接着再start slave
就能夠很迅速的完成增量同步！

須要限定同步哪些數據庫，有3個思路：
1）在執行grant受權的時候就限定數據庫；
2）在主服務器上限定binlog_do_db = 數據庫名；
3）主服務器上不限定數據庫，在從服務器上限定replicate-do-db = 數據庫名；

若是想實現 主-從（主）-從 這樣的鏈條式結構，須要設置：
log-slave-updates 只有加上它，從前一臺機器上同步過來的數據才能同步到下一臺機器。
固然，二進制日誌也是必須開啓的：
log-bin=/opt/mysql/binlogs/bin-log
log-bin-index=/opt/mysql/binlogs/bin-log.index

還能夠設置一個log保存週期：
expire_logs_days=14

 

主從\主主複製過濾

複製過濾：
讓從節點僅僅複製指定的數據庫，或指定數據庫的指定數據表。主服務器有10個數據庫，而從節點只須要同步其中的一兩個數據庫。
這個時候就須要複製過濾。複製過濾器能夠在主節點中實現，也能夠在從節點中實現。

Mysql主從同步部分數據有兩個思路:

1) master只發送須要的；

2) Slave只接收想要的

=====master主節點=====
在主節點的二進制事件日誌中僅記錄與指定數據庫（數據表）相關的事件日誌，可是主節點的二進制日誌不完整，沒有記錄全部對主節點的修改操做。（不推薦）
若是要使用該方式，則在主節點的配置文件中添加以下參數：
binlog_do_db="***,***,***";     #數據庫白名單列表,二進制日誌記錄的數據庫（多數據庫用逗號隔開或重複設置多行）,即須要同步的庫.不在內的不一樣步。（不添加這行表示同步全部）
binlog_ingore_db="***,***,***"; #數據庫黑名單列表, 二進制日誌中忽略的數據庫 （多數據庫用逗號隔開或重複設置多行）,即不須要同步,要過濾掉的庫.

=====slave從節點=====
從服務器的 SQL Thread在Replay中繼日誌中的事件時，僅讀取於特定數據庫（數據表）相關的事件，並應用於本地。（可是浪費I/O ,浪費帶寬）推薦使用
從節點複製過濾相關設置項：
replicate_do_db ="webdb";        #複製庫的白名單. 設定須要複製的數據庫(多數據庫使用逗號隔開或重複設置多行)
replicate_ingore_db ="mysql";    #複製庫的黑名單. 設定須要忽略的複製數據庫(多數據庫使用逗號隔開或重複設置多行)
replicate_do_table="webdb.user"; #複製表的白名單. 設定須要複製的表(多數據庫使用逗號隔開或重複設置多行)
relicate_ingore_table="webdb.uw";#複製表的黑名單. 設定須要忽略的複製的表(多數據庫使用逗號隔開或重複設置多行)

replicate-wild-do-table  #同replication-do-table功能同樣,可是能夠通配符.更高級別的應用,通配符,應用到哪一類表的.
replicate-wild-ignore-table #同replication-ignore-table功能同樣，可是能夠加通配符.

當在主庫存在的庫而從庫不存在的庫同步時,會出現sql錯誤,這時候能夠排除或者從庫手動導入主庫數據庫;

從庫可使用通配符"庫名.%"方式過濾主從同步時某個庫的設置
replicate-wild-do-table=webdb.%      #只複製webdb庫下的全部表
replicate-wild-ignore-table=mysql.%  #忽略mysql庫下的全部表

特別注意:
生產庫上通常不建議設置過濾規則, 若是非要設置, 強烈建議從庫使用通配符方式過濾某個庫:
replicate-wild-do-table= "庫名.%"
replicate-wild-ignore-table= "庫名.%"

而不建議從庫使用DB方式過濾某個庫:
replicate_do_db ="庫名"
replicate_ingore_db ="庫名"

主從\主主環境部署

更加精彩部署篇點擊連接：http://www.javashuo.com/article/p-yfrxquwc-k.html