MySQL主從複製的 工做原理

mysql 主從複製原理

主從形式

---

 

mysql主從複製 靈活

• 一主一從

• 主主複製

• 一主多從---擴展系統讀取的性能，由於讀是在從庫讀取的；

• 多主一從---5.7開始支持

• 聯級複製---

 

 

用途及條件

---

 

mysql主從複製用途

• 實時災備，用於故障切換

• 讀寫分離，提供查詢服務

• 備份，避免影響業務

 

主從部署必要條件：

• 主庫開啓binlog日誌（設置log-bin參數）

• 主從server-id不一樣

• 從庫服務器能連通主庫

 

主從原理

---

mysql主從複製原理

 

 

從庫生成兩個線程，一個I/O線程，一個SQL線程；

 

i/o線程去請求主庫 的binlog，並將獲得的binlog日誌寫到relay log（中繼日誌） 文件中；

主庫會生成一個 log dump 線程，用來給從庫 i/o線程傳binlog；

 

SQL 線程，會讀取relay log文件中的日誌，並解析成具體操做，來實現主從的操做一致，而最終數據一致；

 

問題及解決方法

---

 

mysql主從複製存在的問題：

• 主庫宕機後，數據可能丟失

• 從庫只有一個sql Thread，主庫寫壓力大，複製極可能延時

 

解決方法：

• 半同步複製---解決數據丟失的問題

• 並行複製----解決從庫複製延遲的問題

 

半同步複製

---

 

mysql semi-sync（半同步複製）

半同步複製：

• 5.5集成到mysql，以插件的形式存在，須要單獨安裝

• 確保事務提交後binlog至少傳輸到一個從庫

• 不保證從庫應用完這個事務的binlog

• 性能有必定的下降，響應時間會更長

• 網絡異常或從庫宕機，卡主主庫，直到超時或從庫恢復

 

主從複製--異步複製原理

 

半同步複製原理：

 

 

並行複製

---

 

mysql並行複製

• 社區版5.6中新增

• 並行是指從庫多線程apply binlog

• 庫級別並行應用binlog，同一個庫數據更改仍是串行的(5.7版並行複製基於事務組)

設置

set global slave_parallel_workers=10;

設置sql線程數爲10

 

 

其餘

---

 

部分數據複製

主庫添加參數：

binlog_do_db=db1
binlog_ignore_db=db1
binlog_ignore_db=db2

或從庫添加參數

replicate_do_db=db1
replicate_ignore_db=db1
replicate_do_table=db1.t1
replicate_wild_do_table=db%.%replicate_wild_ignore_table=db1.%

 

聯級複製（經常使用）

A->B->C

B中添加參數：

log_slave_updates
B將把A的binlog記錄到本身的binlog日誌中

 

複製的監控：

show  slave status \G

 

複製出錯處理

常見：1062（主鍵衝突），1032（記錄不存在）

解決：

• 手動處理

• 跳過複製錯誤：set global sql_slave_skip_counter=1

 

 

 

總結

---

 

• 主從形式

• 
  

• 一主一從

• 一主多從--擴展系統讀取性能

• 多主一從--5.7開始支持

• 主主複製

• 聯級複製

• 用途：實時災備的故障切換，讀寫分離，備份

• 原理

• 
  

• i/o線程接受讀取binlog，並寫入relay log文件

• sql線程從relay log 文件中讀取binlog並持久化

• 主：log dump線程傳binlog；

• 從

• 
  

• 問題及解決

• 
  

• 並行複製

• 半同步複製

• 主庫宕機後，數據丟失

• 
  

• 主庫寫壓力大，因從庫只有一個sql 線程來持久化，複製可能延遲

• 
  

• 半同步複製：

• 
  

• 事務在主庫寫完binlog後須要從庫返回一個已接受，才放回給客戶端；

• 原理

• 
  

• 5.5集成到mysql，以插件的形式存在，須要單獨安裝

• 確保事務提交後binlog至少傳輸到一個從庫

• 不保證從庫應用完成這個事務的binlog

• 性能有必定的下降

• 網絡異常或從庫宕機，卡主庫，直到超時或從庫恢復

• 並行複製

• 
  

• 原理：從庫多線程apply binlog

• 在社區5.6中新增

• 庫級別並行應用binlog，同一個庫數據更改仍是串行的

• 5.7版本並行複製基於事務組

• 部分數據複製

• 聯級複製（經常使用）

• 
  

• A->B->C

• B中添加參數log_slave_updates

• B將把A的binlog記錄到本身的binlog日誌中

• 複製的監控

• 
  

• show slave status

• 複製出錯處理

• 
  

• 手動處理

• 跳過複製錯誤：set global sql_slave_skip_counter=1

• 常見：1062（主鍵衝突），1032（記錄不存在）

• 解決：

• 
  

• mysql主從複製是mysql高可用性，高性能（負載均衡）的基礎

• 簡單，靈活，部署方式多樣，能夠根據不一樣業務場景部署不一樣複製結構

• 複製過程當中應該時刻監控複製狀態，複製出錯或延時可能給系統形成影響

• mysql主從複製目前也存在一些問題，能夠根據須要部署複製加強功能