Mycat高可用解決方案二（主從複製）

Mycat高可用解決方案二（主從複製）

系統部署規劃

名稱	IP	主機名稱	用戶名/密碼	配置
mysql主節點	192.168.199.110	mysql-01	root/hadoop	2核/2G
mysql從節點	192.168.199.111	mysql-02	root/hadoop	2核/2G

 

主機角色	Hosts文件配置 /etc/hosts	hostname配置 /etc/sysconfig/network	防火牆
Master主 192.168.199.110	127.0.0.1 localhost 127.0.0.1 mysql-01 192.168.199.110 mysql-01 192.168.199.111 mysql-02	NETWORKING=yes HOSTNAME=mysql-01	service iptables stop chkconfig iptables off
Slave從 192.168.199.111	127.0.0.1 localhost 127.0.0.1 mysql-02 192.168.199.110 mysql-01 192.168.199.111 mysql-02	NETWORKING=yes HOSTNAME=mysql-02	service iptables stop chkconfig iptables off

主從複製有兩種方式：基於日誌（binlog）、基於 GTID（全局事務標示符）。本次採用基於日誌（binlog）的方式。

MySQL 主從複製（也稱 A/B 複製）的原理

(1) Master將數據改變記錄到二進制日誌(binary log)中，也就是配置文件log-bin指定的文件，這些記錄叫作二進制日誌事件(binary log events)；
(2) Slave 經過 I/O 線程讀取 Master 中的 binary log events 並寫入到它的中繼日誌(relay log)；
(3) Slave 重作中繼日誌中的事件，把中繼日誌中的事件信息一條一條的在本地執行一次，完成數據在本地的存儲，從而實現將改變反映到它本身的數據(數據重放)。

主從配置須要注意的點

(1)主從服務器操做系統版本和位數一致。

(2) Master 和 Slave 數據庫的版本要一致。

(3) Master 和 Slave 數據庫中的數據要一致。

(4) Master 開啓二進制日誌，Master 和 Slave 的 server-id 在局域網內必須惟一（若是是複製的虛擬機，請把生成uuid的auto.cnf文件刪除掉，重啓mysql讓其自動生成uuid，uuid也必須是惟一的）。

主從配置的簡要步驟

一、Master 上的配置
(1) 安裝數據庫；
(2) 修改數據庫配置文件，指明 server_id，開啓二進制日誌(log-bin)；
(3) 啓動數據庫，查看當前是哪一個日誌，position 號是多少；
(4) 登陸數據庫，受權數據複製用戶（IP 地址爲從機 IP 地址，若是是雙向主從，這裏的還須要受權本機的 IP 地址，此時本身的 IP 地址就是從 IP 地址)；
(5) 備份數據庫（記得加鎖和解鎖）；
(6) 傳送備份數據到 Slave 上（scp命令）；
(7) 啓動數據庫；

以上步驟，爲單向主從搭建成功。

想搭建雙向主從須要的步驟：
(1) 登陸數據庫，指定 Master 的地址、用戶、密碼等信息（此步僅雙向主從時須要）；
(2) 開啓同步，查看狀態；
二、Slave 上的配置
(1) 安裝數據庫；
(2) 修改數據庫配置文件，指明 server_id，relay-log（若是是搭建雙向主從的話，也要開啓二進制日誌 log-bin）；
(3) 啓動數據庫，還原備份；
(4) 查看當前是哪一個日誌，position 號是多少（單向主今後步不須要，雙向主從須要）；
(5) 指定 Master 的地址、用戶、密碼等信息；
(6) 開啓同步，查看狀態。

單向主從環境（也稱 MySQL A/B 複製）的搭建

一、Master（192.168.199.110）和 Slave（192.168.199.111）上都安裝了相同版本的數據庫（mysql-5.7.9）。
注意：兩臺數據庫服務器的的 selinux 都要 disable（永久關閉 selinux，請修改/etc/selinux/config，將 SELINUX 改成 disabled）

二、修改 Master 的配置文件/etc/my.cnf

[root@mysql-01 ~]# vi /etc/my.cnf ## 在 [mysqld] 中增長如下配置項 ## 設置 server_id，通常設置爲 IP的後一段或後兩段 server_id=110 ## 複製過濾：須要備份的數據庫，輸出 binlog #binlog-do-db=test01 ## 複製過濾：不須要備份的數據庫，不輸出（mysql 庫通常不一樣步） binlog-ignore-db=mysql ## 開啓二進制日誌功能，能夠隨便取，最好有含義 log-bin=mysql-bin ## 爲每一個 session 分配的內存，在事務過程當中用來存儲二進制日誌的緩存 binlog_cache_size=1M ## 主從複製的格式（mixed,statement,row，默認格式是 statement）
binlog_format=mixed
## 二進制日誌自動刪除/過時的天數。默認值爲 0，表示不自動刪除。
expire_logs_days=7
## 跳過主從複製中遇到的全部錯誤或指定類型的錯誤，避免 slave 端複製中斷。
## 如：1062 錯誤是指一些主鍵重複，1032 錯誤是由於主從數據庫數據不一致
slave_skip_errors=1062

（如想了解以上參數的更多詳細解析，你們能夠直接百度參數）

 2.1 複製過濾可讓你只複製服務器中的一部分數據，有兩種複製過濾：
(1) 在 Master 上過濾二進制日誌中的事件；
(2) 在 Slave 上過濾中繼日誌中的事件。以下：

2.2 MySQL 對於二進制日誌 (binlog)的複製類型
(1) 基於語句的複製：在 Master 上執行的 SQL 語句，在 Slave 上執行一樣的語句。

MySQL 默認採用基於語句的複製，效率比較高。一旦發現無法精確複製時，會自動選着基於行的複製。

(2) 基於行的複製：把改變的內容複製到 Slave，而不是把命令在 Slave 上執行一遍。從MySQL5.0 開始支持。

(3) 混合類型的複製：默認採用基於語句的複製，一旦發現基於語句的沒法精確的複製時，就會採用基於行的複製。

三、啓動/重啓 Master 數據庫服務，登陸數據庫，建立數據同步用戶，並授予相應的權限

[root@mysql-01 ~]# service mysql restart Shutting down MySQL..[ OK ] Starting MySQL..[ OK ] [root@mysql-01 ~]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.7.9-log MySQL Community Server (GPL)

Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. ##建立數據同步用戶（生產環境建議密碼複雜些），並授予相應的權限 'repl'@'192.168.199.%' 或 'repl'@'192.168.%.%' mysql> grant replication slave, replication client on *.* to 'repl'@'192.168.199.111' identified by '123456'; Query OK, 0 rows affected (0.00 sec) ## 刷新受權表信息 mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) ## 查看 position 號，記下 position 號（從機上須要用到這個 position 號和如今的日誌文件) mysql> show master status;

四、建立 test01 庫、表，並寫入必定量的數據，用於模擬現有的業務系統數據庫

create database if not exists test01 default charset utf8 collate utf8_general_ci; 
use test01; 
DROP TABLE IF EXISTS `login_user`;
CREATE TABLE `login_user` ( 
 `Id` int(11) NOT NULL AUTO_INCREMENT, 
 `userName` varchar(255) NOT NULL DEFAULT '' COMMENT '用戶名', 
 `pwd` varchar(255) NOT NULL DEFAULT '' COMMENT '密碼',
 PRIMARY KEY (`Id`) 
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 COMMENT='用戶信息表'; 

INSERT INTO `login_user` VALUES (1,'劉備','123456'),(2,'關羽','123456'),(3,'張飛','123456'),(4,'趙雲','123456');

五、爲保證 Master 和 Slave 的數據一致，咱們採用 主節點備份,從節點還原 來實現初始數據一致。

## 一、先臨時鎖表
 mysql> flush tables with read lock; Query OK, 0 rows affected (0.00 sec) ## 這裏咱們實行全庫備份，在實際中，咱們可能只同步某一個庫，那也能夠只備份一個庫（mysqldump在shell命令行執行） root@mysql-01 tmp]# mysqldump -p3306 -uroot -p --add-drop-table test01 > /tmp/test01.sql
mysqldump: [Warning] Using a password on the command line interface can be insecure.
Enter password: 
[root@mysql-01 ~]# cd /tmp 
[root@mysql-01 tmp]# ll
total 8
-rw-r--r--  1 root root 2123 Jan  8 20:48 test01.sql
[root@mysql-01 tmp]# ## 注意：實際生產環境中大數據量（超 2G 數據）的備份，建議不要使用 mysqldump 進行比分，由於會很是慢。此時推薦使用 XtraBackup 進行備份。
 ## 二、解鎖表
 mysql> unlock tables; Query OK, 0 rows affected (0.00 sec) 將 Master 上備份的數據遠程傳送到 Slave 上，以用於 Slave 配置時恢復數據
[root@mysql-01 tmp]# scp /tmp/test01.sql root@192.168.199.111:/tmp/
root@192.168.199.111's password: 
test01.sql                         100% 2123     2.1KB/s   00:00    
[root@mysql-01 tmp]#

六、接下來處理 Slave（192.168.199.111），配置文件只需修改一項，其他配置用命令來操做

[root@mysql-02 ~]# vi /etc/my.cnf ## 在 [mysqld] 中增長如下配置項 ## 設置 server_id，通常設置爲 IP server_id=111 ## 複製過濾：須要備份的數據庫，輸出 binlog #binlog-do-db=test01 ##複製過濾：不須要備份的數據庫，不輸出（mysql 庫通常不一樣步） binlog-ignore-db=mysql ## 開啓二進制日誌，以備 Slave 做爲其它 Slave 的 Master 時使用 log-bin=mysql-slave-bin ## 爲每一個 session 分配的內存，在事務過程當中用來存儲二進制日誌的緩存 binlog_cache_size = 1M ## 主從複製的格式（mixed,statement,row，默認格式是 statement） binlog_format=mixed ## 二進制日誌自動刪除/過時的天數。默認值爲 0，表示不自動刪除。 expire_logs_days=7 ## 跳過主從複製中遇到的全部錯誤或指定類型的錯誤，避免 slave 端複製中斷。 ## 如：1062 錯誤是指一些主鍵重複，1032 錯誤是由於主從數據庫數據不一致 slave_skip_errors=1062 ## relay_log 配置中繼日誌 relay_log=mysql-relay-bin ## log_slave_updates 表示 slave 將複製事件寫進本身的二進制日誌 log_slave_updates=1 ## 防止改變數據(除了特殊的線程) read_only=1 若是 Slave 爲其它 Slave 的 Master 時，必須設置 bin_log。
在這裏，咱們開啓了二進制日誌，並且顯式的命名(默認名稱爲 hostname，可是，若是 hostname 改變則會出現問題)。 relay_log 配置中繼日誌，log_slave_updates 表示 slave 將複製事件寫進本身的二進制日誌。 當設置 log_slave_updates 時，你可讓 slave 扮演其它 slave 的 master。
此時，slave 把 SQL線程執行的事件寫進行本身的二進制日誌(binary log)，而後，它的 slave 能夠獲取這些事件並執行它。
以下圖所示（發送複製事件到其它 Slave）

七、保存後重啓 MySQL 服務，還原備份數據

[root@mysql-02 ~]# service mysql restart Shutting down MySQL..[ OK ] Starting MySQL..[ OK ] Slave 上建立相同庫：mysql -uroot -p123456  -e 「create database test」
或者進入mysql命令行建立數據庫

create database if not exists test01 default charset utf8 collate utf8_general_ci; use test01; 導入數據 [root@mysql-02 ~]# mysql -uroot -p test01 < /tmp/test01.sql Enter password: [root@mysql-02 ~]#

八、登陸 Slave 數據庫，添加相關參數
（Master 的 IP、端口、同步用戶、密碼、position 號、讀取哪一個日誌文件)

[root@mysql-02 data]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 17
Server version: 5.7.9-log MySQL Community Server (GPL)

Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>change master to master_host='192.168.199.110',
master_user='repl',
master_password='123456',
master_port=3306,
master_log_file='mysql-bin.000002',
master_log_pos=2555,
master_connect_retry=30; Query OK, 0 rows affected, 2 warnings (0.01 sec) 上面執行的命令的解釋： master_host='192.168.199.110' ## Master 的 IP 地址 master_user='repl' ## 用於同步數據的用戶（在 Master 中受權的用戶） master_password='123456' ## 同步數據用戶的密碼 master_port=3306 ## Master 數據庫服務的端口 master_log_file='mysql-bin.000002' ##指定 Slave 從哪一個日誌文件開始讀複製數據（可 在 Master 上使用 show master status 查看到日誌文件名） master_log_pos=2555 ## 從哪一個 POSITION 號開始讀 master_connect_retry=30 ##當從新創建主從鏈接時，若是鏈接創建失敗，間隔多久後重試。單位爲秒，默認設置爲 60 秒，同步延遲調優參數。 
## 查看主從同步狀態 mysql> show slave status\G; 可看到 Slave_IO_State 爲空， Slave_IO_Running 和 Slave_SQL_Running 是 No，代表 Slave 尚未開始複製過程。 
## 開啓主從同步 mysql> start slave; Query OK, 0 rows affected (0.00 sec) ## 再查看主從同步狀態 mysql> show slave status\G;

可看到 Slave_IO_Running 和 Slave_SQL_Running 是 Yes，代表 Slave 已經開始複製過程

主要看如下兩個參數，這兩個參數若是是 Yes 就表示主從同步正常
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
由截圖中的主從同步狀態信息能夠看出，咱們配置的主從同步是正常的。

異常狀況：

-- Last_IO_Errno: 2003 多是主庫防火牆沒有關致使的 設置SELINUX=disabled [root@mysql-01 ~]# vi /etc/selinux/config SELINUX=disabled [root@mysql-01 ~]# service iptables status; [root@mysql-01 ~]# service iptables stop
[root@mysql-01 ~]#  而後在從庫stop slave; start slave; 就搞定了！
即時生效，重啓後復原：service iptables stop
永久性生效，重啓後不會復原：chkconfig iptables offchkconfig iptables off

可查看 master 和 slave 上線程的狀態。在 master 上，能夠看到 slave 的 I/O 線程建立的鏈接：
Master : mysql> show processlist\G;

1.row 爲處理 slave 的 I/O 線程的鏈接。
2.row 爲處理本地命令行的線程。

Slave : mysql> show processlist\G;

1.row 爲處理本地命令行的線程。

2.row 爲 I/O 線程狀態。

3.row 爲 SQL 線程狀態。

九、主從數據複製同步測試

(1) 在 Master 中的 test01 庫上變動數據的同步測試； mysql> INSERT INTO `login_user` VALUES (5,'同步測試 1','123456'),(6,'同步測試 2','123456'); Master 中添加完以後，登陸 Slave 中查看數據是否已同步。 (2) 在 Master 上新建一個 test02 庫 mysql> create database if not exists test02 default charset utf8 collate utf8_general_ci; 在 Slave 中查看數據庫 mysql> show databases; 最終的測試結果是，在 Master 中的操做，都成功同步到了 Slave。 10、測試過程當中，若是遇到同步出錯，可在 Slave 上重置主從複製設置（選操做）： (1) mysql> reset slave; (2) mysql> change master to master_host='192.168.199.110', master_user='repl', master_password='123456', master_port=3306, master_log_file='mysql-bin.00000x', master_log_pos=xx, master_connect_retry=30; (此時，master_log_file 和 master_log_pos 要在 Master 中用 show master status 命令查看) 注意：若是在 Slave 沒作只讀控制的狀況下，千萬不要在 Slave 中手動插入數據，那樣數據就會不一致，主從就會斷開，就須要從新配置了。

十一、上面所搭建的是單向複製的主從，也是用的比較多的，而雙向主從其實就是 Master 和Slave 都開啓日誌功能，

而後在 Master 執行受權用戶（這裏受權的是本身做爲從服務器，也就是這裏的 IP 地址是 Master 的 IP 地址），而後再在 Master 上進行 chang master 操做。

MySQL 主從數據同步延遲問題的調優基於局域網的 Master/Slave 機制在一般狀況下已經能夠知足「實時」備份的要求了。若是延遲比較大，能夠從如下幾個因素進行排查：

(1) 網絡延遲；

(2) Master 負載太高；

(3) Slave 負載太高；

通常的作法是使用多臺 Slave 來分攤讀請求，再單獨配置一臺 Slave 只做爲備份用，不進行其餘任何操做，就能相對最大限度地達到「實時」的要求了。

兩個能夠減小主從複製延遲的參數（按需配置）：
MySQL 能夠指定 3 個參數，用於複製線程重連主庫：--master-retry-count，--master-connect-retry，--slave-net-timeout 。

其中 master-connect-retry 和 master-retry-count 須要在 Change Master 搭建主備複製時指定，而 slave-net-timeout 是一個全局變量，能夠在 MySQL 運行時在線設置。

具體的重試策略爲：備庫過了 slave-net-timeout 秒尚未收到主庫來的數據，它就會開始第一次重試。

而後每過 master-connect-retry 秒，備庫會再次嘗試重連主庫。直到重試了 master-retry-count 次，它纔會放棄重試。

若是重試的過程當中，連上了主庫，那麼它認爲當前主庫是好的，又會開始 slave-net-timeout 秒的等待。

slave-net-timeout 的默認值是 3600 秒，master-connect-retry 默認爲 60 秒，master-retry-count 默認爲 86400 次。

也就是說，若是主庫一個小時都沒有任何數據變動發送過來，備庫纔會嘗試重連主庫。

這就是爲何在咱們模擬的場景下，一個小時後，備庫纔會重連主庫，繼續同步數據變動的緣由。

這樣的話，若是你的主庫上變動比較頻繁，能夠考慮將 slave-net-timeout 設置的小一點，避免主庫 Binlog dump 線程終止了，沒法將最新的更新推送過來。

固然 slave-net-timeout 設置的太小也有問題，這樣會致使若是主庫的變動確實比較少的時候，備庫頻繁的從新鏈接主庫，形成資源浪費。
slave-net-timeout=seconds
參數說明：當 Slave 從 Master 數據庫讀取 log 數據失敗後，等待多久從新創建鏈接並獲取數據，單位爲秒，默認設置爲 3600 秒。

在作 MySQL Slave 的時候常常會遇到不少錯誤，須要根據具體緣由跨過錯誤繼續同步，但有時候是由於網絡不穩定、網絡閃斷形成同步不正常，

若是 Slave 機器很是多的狀況下，一個一個的登陸服務器去 stop slave、start slave 變得無聊並且重複。從 MySQL5.1 開始支持的解決方案配置：

master-connect-retry=seconds
參數說明：在主服務器宕機或鏈接丟失的狀況下，從服務器線程從新嘗試鏈接主服務器以前睡眠的秒數。

若是主服務器.info文件中的值能夠讀取則優先使用。若是未設置，默認值爲60秒。

一般配置以上 2 個參數能夠減小網絡問題致使的主從數據同步延遲。

通常網絡問題的錯誤是：
[ERROR] Error reading packet from server: Lost connection to MySQL server during query (server_errno=xxxx)
[ERROR] Slave I/O thread: Failed reading log event, reconnecting to retry, log ‘edu-mysqlbin.000256’ position 23456

 

推薦參考連接：
http://www.it165.net/database/html/201311/4851.html
http://blog.csdn.net/hguisu/article/details/7325124
http://www.woqutech.com/?p=1116
http://blog.chinaunix.net/uid-10661836-id-4116512.html
http://my.oschina.net/cimu/blog/165019
http://linuxguest.blog.51cto.com/195664/686813/
http://blog.itpub.net/29096438/viewspace-1409405/
http://blog.csdn.net/lxpbs8851/article/details/38455223
http://blog.csdn.net/seteor/article/details/17264633