Mysql主從複製詳解和實戰

時間 2019-11-06

標籤 mysql 主從複製詳解實戰欄目 MySQL 简体版

原文原文鏈接

1、主從複製原理
php

1.1 基本介紹mysql

MySQL 內建的複製功能是構建大型，高性能應用程序的基礎。將 MySQL 的數億分佈到到多個系統上去，這種分步的機制，是經過將 MySQL 的某一臺主機的數據複製到其它主機( Slave )上，並從新執行一遍來實現的。複製過程當中一個服務器充當主服務器，而一個或多個其它服務器充當從服務器。主服務器將更新寫入本地二進制日誌文件中，並維護文件的一個索引以跟蹤日誌循環。這些日誌能夠記錄發送到從服務器的更新。當一個從服務器鏈接主服務器時，它通知主服務器從服務器在日誌中讀取的最後一次成功更新的位置，從服務器接收從那時起發生的任何更新，而後等待主服務器通知新的更新。 linux

注意：當你配置主從複製後，全部對數據的更新必須在主服務器上進行。不然，你必需要當心，以免用戶對主服務器上的表進行的更新與對從服務器上的表所進行的更新之間的衝突。web

1.2 Mysql支持的複製類型sql

基於語句的複製: 在主服務器執行SQL語句，在從服務器執行一樣語句。MySQL默認採用基於語句的複製，效率較高。一旦發現無法精確複製時, 會自動選基於行的複製。數據庫
基於行的複製: 把改變的內容複製過去，而不是把命令在從服務器上執行一遍. 從mysql5.0開始支持 vim
混合類型的複製: 默認採用基於語句的複製，一旦發現基於語句的沒法精確的複製時，就會採用基於行的複製。緩存

1.3 主從複製的優勢
安全

在從服務器能夠執行查詢工做(即咱們常說的讀功能)，下降主服務器壓力;（主庫寫，從庫讀，降壓）服務器
在從主服務器進行備份，避免備份期間影響主服務器服務;（確保數據安全）
當主服務器出現問題時，能夠切換到從服務器。（提高性能）

1.3.1 主從複製解決的問題

- 數據分佈 (Data distribution )
- 負載平衡(load balancing)
- 據備份(Backups) ，保證數據安全
- 高可用性和容錯行(High availability and failover)
- 實現讀寫分離，緩解數據庫壓力

1.4 主從複製經常使用實現形式

一主多從複製架構

應用場景：

在主庫讀取請求壓力很是大的場景下，能夠經過配置一主多從複製架構實現讀寫分離，把大量對實時性要求不是特別高的讀請求經過負載均衡調度到多個從庫上，下降主庫的讀取壓力。在主庫出現異常宕機的狀況下，能夠把一個從庫切換爲主庫繼續提供服務（主庫受權從庫遠程鏈接，讀取binlog日誌並更新到本地數據庫的過程；主庫寫數據後，從庫會自動同步過來（從庫跟着主庫變））

注意事項：

- 當 Slave 增長到必定數量時，Slave 對 Master 的負載以及網絡帶寬都會成爲一個嚴重的問題。
- 不一樣的 Slave 扮演不一樣的做用(例如使用不一樣的索引，或者不一樣的存儲引擎)
- 用一個 Slave 做爲備用 Master，只進行復制
- 用一個遠程的 Slave，用於災難恢復。

多級複製架構

應用場景：

一主多從的架構可以解決大部分讀請求壓力特別大的場景需求，但主庫的I/O壓力和網絡壓力會隨着從庫的增長而增加，而使用多級複製架構就能夠解決一主多從場景下，主庫額外的I/O和網絡壓力。但要注意的是，多級複製場景下主庫的數據是經歷兩次纔到達讀取的從庫，期間的延時比一主多從複製場景下只經歷一次複製的要大

注意事項：

- 可能存在延時較長的風險
- 這種方案能夠與第三方軟件結合使用，例如Slave+LVS+Keepalived 實現高可用。

雙主複製架構

應用場景：

雙主/Dual Master架構適用於寫壓力比較大的場景，或者DBA作維護須要主從切換的場景，經過雙主/Dual master架構避免了重複搭建從庫的麻煩；（主從相互受權鏈接，讀取對方binlog日誌並更新到本地數據庫的過程；只要對方數據改變，本身就跟着改變）

注意事項：

- 最大問題就是更新衝突。
- 能夠採用MySQL Cluster，以及將Cluster和Replication結合起來，能夠創建強大的高性能的數據庫平臺

1.5 主從複製工做原理

主庫開啓binlog功能並受權從庫鏈接主庫，從庫經過change master獲得主庫的相關同步信息,而後鏈接主庫進行驗證，主庫IO線程根據從庫slave線程的請求，從master.info開始記錄的位置點向下開始取信息，同時把取到的位置點和最新的位置與binlog信息一同發給從庫IO線程，從庫將相關的sql語句存放在relay-log裏面，最終從庫的sql線程將relay-log裏的sql語句應用到從庫上，至此整個同步過程完成，以後將是無限重複上述過程

須要理解

從庫會生成兩個線程,一個I/O線程,一個SQL線程;
I/O線程會去請求主庫的binlog,並將獲得的binlog寫到本地的relay-log(中繼日誌)文件中;
主庫會生成一個log dump線程,用來給從庫I/O線程傳binlog;
SQL線程,會讀取relay log文件中的日誌,並解析成sql語句逐一執行;

注意幾點問題：

master將操做語句記錄到binlog日誌中，而後授予slave遠程鏈接的權限（master要開啓binlog二進制日誌功能；一般爲了數據安全考慮，slave也開啓binlog）;
slave開啓兩個線程：IO線程和SQL線程。其中：IO線程負責讀取master的binlog內容到中繼日誌relay log裏；SQL線程負責從relay log日誌裏讀出binlog內容，並更新到slave的數據庫裏，這樣就能保證slave數據和master數據保持一致了;
mysql複製至少須要兩個Mysql的服務，固然Mysql服務能夠分佈在不一樣的服務器上，也能夠在一臺服務器上啓動多個服務;
mysql複製最好確保master和slave服務器上的Mysql版本相同（若是不能知足版本一致，那麼要保證master主節點的版本低於slave從節點的版本）;
master和slave兩節點間時間需同步;

大體能夠簡單分爲如下三步：

第一步：master在每一個事務更新數據完成以前，將該操做記錄串行地寫入到binlog文件中。
第二步：salve開啓一個I/O Thread，該線程在master打開一個普通鏈接，主要工做是binlog dump process。若是讀取的進度已經跟上了master，就進入睡眠狀態並等待master產生新的事件。I/O線程最終的目的是將這些事件寫入到中繼日誌中。
第三步：SQL Thread會讀取中繼日誌，並順序執行該日誌中的SQL事件，從而與主數據庫中的數據保持一致。

細節說明：

- Mysql複製過程的第一部分就是master記錄二進制日誌。在每一個事務更新數據完成以前，master在二日誌記錄這些改變。MySQL將事務串行的寫入二進制日誌，即便事務中的語句都是交叉執行的。在事件寫入二進制日誌完成後，master通知存儲引擎提交事務; - 第二部分就是slave將master的binary log拷貝到它本身的中繼日誌。首先，slave開始一個工做線程(I/O線程)。I/O線程在master上打開一個普通的鏈接，而後開始binlog dump process。Binlog dump process從master的二進制日誌中讀取事件，若是已經跟上master，它會睡眠並等待master產生新的事件。I/O線程將這些事件寫入中繼日誌;
- SQL slave thread（SQL從線程）處理該過程的最後一步。SQL線程從中繼日誌讀取事件，並重放其中的事件而更新slave的數據，使其與master中的數據一致。只要該線程與 I/O線程保持一致，中繼日誌一般會位於OS的緩存中，因此中繼日誌的開銷很小;
- 此外，在master中也有一個工做線程：和其它MySQL的鏈接同樣，slave在master中打開一個鏈接也會使得master開始一個線程。複製過程有一個很重要的限制, 即複製在slave上是串行化的，也就是說master上的並行更新操做不能在slave上並行操做。

2、mysql主從配置實戰

2.1 配置簡易實現步驟

主服務器：

- 開啓二進制日誌功能

- 配置惟一的server-id

- 得到master二進制日誌文件名及位置

- 建立一個用於slave和master通訊的用戶帳號

從服務器：

- 配置惟一的server-id

- 使用master分配的用戶帳號讀取master二進制日誌

- 啓用slave服務

2.2 配置注意事項

- 每一個 Slave 只能有一個 Master；
- 每一個 Slave 只能有一個惟一的服務器ID；
- 每一個 Master 能夠有不少 Slave;
- 若是你設置了 log_slave_updates，Slave 能夠是其餘 Slave 的 Master，從而擴散 Master 的更新
- MySQL 不支持多主服務器複製—即一個 Slave 能夠有多個 Master，可是，經過一些簡單的組合，咱們卻能夠創建靈活而強大的複製體系結構。

- 複製時，主庫有一個I/O線程，從庫有兩個線程，I/O和SQL線程
- 實現主從複製的必要條件是主庫要開啓記錄binlog功能
- binlog文件只記錄對數據庫有更改的SQL語句（來自主庫內容的變動），不記錄任何查詢（select，show）語句

2.3 主從環境介紹

數據庫角色	IP	應用和系統	有無數據
Master數據庫	192.168.2.221	Centos7.3+mariadb5.5.56	有
Slave數據庫	192.168.2.222	Centos7.3+mariadb5.5.56	無

我這裏mariadb使用yum直接安裝了

主服務器操做：

①使用yum安裝mariadb-server軟件包，關閉防火牆和selinux

[root@master /]# systemctl stop pfirewalld 
[root@master /]# setenforce  0
[root@master /]# yum install -y mariadb-server

②修改mariadb配置文件，開啓二進制日誌功能，配置一個server-id並啓動mariadb服務

[root@master /]# vim /etc/my.cnf
-----------------------------修改添加如下內容-------------------------
[mysqld]
.....省略
log-bin=bin-log                    ##開啓二進制日誌功能
server-id=11                       ##設置server-id全部主從服務器要惟一
innodb-file-per-table=ON
skip-name-resolve=ON
[root@master /]# systemctl restart mariadb

③建立slave通訊用戶，建立ceshi數據庫並將mysql庫的數據備份後導入到ceshi數據庫

[root@master /]# mysql
MariaDB [(none)]> grant replication slave on *.* to 'repl'@'192.168.2.222' identified by 'replication';
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> create database ceshi;
Query OK, 1 row affected (0.00 sec)
[root@master /]# mysqldump -uroot -p mysql > /mysql.sql
[root@master /]# cat /mysql.sql | mysql -uroot -p ceshi

④登陸myslq數據庫，查看master的binlog日誌文件名和pos-id

[root@master /]# mysql
MariaDB [ceshi]> show master status;
+----------------+----------+--------------+------------------+
| File           | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+----------------+----------+--------------+------------------+
| bin-log.000003 |   514412 |              |                  |
+----------------+----------+--------------+------------------+
1 row in set (0.00 sec)

從服務器操做：

①使用yum安裝mariadb-server軟件包，關閉防火牆和selinux

[root@slave /]# systemctl stop pfirewalld 
[root@slave /]# setenforce  0
[root@slave /]# yum install -y mariadb-server

②修改mariadb配置文件，開啓中繼日誌功能，配置一個server-id並啓動mariadb服務

[root@slave /]# vim /etc/my.cnf
-----------------------------修改添加如下內容-------------------------
[mysqld]
.....省略
relay-log=relay-log                    ##開啓中繼日誌功能
server-id=22                            ##設置slave的serverid
innodb-file-per-table=ON
skip-name-resolve=ON
[root@slave /]# systemctl restart mariadb

③建立ceshi數據庫，將ceshi數據庫的全量備份文件複製到本地並導入到ceshi數據庫

[root@slave /]# mysql
MariaDB [(none)]> create database ceshi;
Query OK, 1 row affected (0.00 sec)
[root@slave /]# scp 192.168.2.221:/mysql.sql /
[root@slave /]# cat mysql.sql | mysql -uroot -p ceshi

④配置master的讀取binlog信息配置，啓動slave進程並查看slave狀態

MariaDB [ceshi]> change master to
    -> master_host='192.168.2.221',
    -> master_user='repl',
    -> master_password='replication',
    -> master_log_file='bin-log.000003',
    -> master_log_pos=514412;
Query OK, 0 rows affected (0.32 sec)

MariaDB [ceshi]> start slave;
Query OK, 0 rows affected (0.01 sec)

MariaDB [ceshi]> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.2.221
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: bin-log.000003
          Read_Master_Log_Pos: 514412
               Relay_Log_File: relay-log.000002
                Relay_Log_Pos: 527
        Relay_Master_Log_File: bin-log.000003
             Slave_IO_Running: Yes                            ##此處兩個yes表明slave配置同步成功
            Slave_SQL_Running: Yes                            ##此處兩個yes表明slave配置同步成功
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 514412
              Relay_Log_Space: 815
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 11
1 row in set (0.00 sec)

選項說明：

master_host：Master 服務器IP
master_user：Master 服務器受權用戶，也就是 Master 前面建立的那個用戶
master_password：Master 服務器受權用戶對應的密碼
master_log_file：Master binlog 文件名
master_log_pos：Master binlog 文件中的 Postion 值

⑤測試，在master數據庫中執行sql語句操做，觀察slave是否同步，若是同步則說明配置成功

注意事項：

主庫和從庫的數據庫名必須相同；
主庫和從庫的複製能夠精確到表，可是在須要更改主庫或從庫的數據結構時須要馬上重啓slave；
不能在mysql配置文件裏直接寫入master的配置信息，須要用change master命令來完成；
指定replicate_do_db必須在my.cnf裏配置，不能用change master命令來完成；
若是不及時清理，日積月累二進制日誌文件可能會把磁盤空間佔滿，能夠在配置文件里加上expire_logs_days=7，只保留最近7天的日誌，建議當slave再也不使用時，經過reset slave來取消relaylog；
寫一個監控腳本，用來監控 Slave 中的兩個"yes"，若是隻有一個"yes"或者零個，就代表主從有問題。

2.3 主從複製經常使用的幾個配置選項

binlog_do_db="***,***,***";      #數據庫白名單列表,二進制日誌記錄的數據庫（多數據庫用逗號隔開或重複設置多行）,即須要同步的庫.不在內的不一樣步。（不添加這行表示同步全部）
binlog_ingore_db="***,***,***";  #數據庫黑名單列表, 二進制日誌中忽略的數據庫 （多數據庫用逗號隔開或重複設置多行）,即不須要同步,要過濾掉的庫.

從服務器上配置：
replicate_do_db ="webdb";         #複製庫的白名單. 設定須要複製的數據庫（多數據庫使用逗號隔開或重複設置多行）
replicate_ingore_db ="mysql";     #複製庫的黑名單. 設定須要忽略的複製數據庫 （多數據庫使用逗號隔開或重複設置多行）
replicate_do_table="webdb.user";  #複製表的白名單. 設定須要複製的表（多數據庫使用逗號隔開或重複設置多行）
relicate_ingore_table="webdb.uw"; #複製表的黑名單. 設定須要忽略的複製的表（多數據庫使用逗號隔開或重複設置多行）
expire_logs_days=14               #設置log保存的時長
log-slave-updates                 ##能夠成鏈式複製（主---> 從（主）--->從）

replicate-wild-do-table           #同replication-do-table功能同樣，可是能夠通配符. 更高級別的應用，通配符,應用到哪一類表的。
replicate-wild-ignore-table       #同replication-ignore-table功能同樣，可是能夠加通配符.
replicate-wild-do-table=webdb.%      #只複製webdb庫下的全部表
replicate-wild-ignore-table=mysql.%  #忽略mysql庫下的全部表

注意：這些參數默認是沒有配置的，沒有手動配置，那默認是同步全部的庫

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。