生產環境中一臺mysql主機存在單點故障,因此要確保mysql的高可用性,即兩臺MySQL服務器。若是其中有一臺MySQL服務器掛掉後,另一臺能立馬接替其進行工做。
MySQL的高可用方案通常有以下幾種:keepalived+雙主,MHA,PXC,MMM,Heartbeat+DRBD等,比較經常使用的是keepalived+雙主,MHA和PXC。
主要介紹利用 keepalived 實現 MySQL 數據庫的高可用。 Keepalived+mysql雙主來實現MySQL-HA,咱們必須保證兩臺MySQL數據庫的數據徹底同樣。mysql
兩臺MySQL互爲主從關係,經過Keepalived配置虛擬IP,實現當其中的一臺MySQL數據庫宕機後,應用可以自動切換到另一臺MySQL數據庫,保證系統的高可用。算法
Mysql版本:mysql 5.7 Keepalived: keepalived-1.2.20
主機 | 操做系統 | mysql-VIP | IP地址 |
---|---|---|---|
mysql-master01 | CentOS 7 | 192.168.10.100 | 192.168.1.1 |
mysql-master02 | CentOS 7 | 192.168.10.100 | 192.168.1.8 |
該過程的第一部分就是master記錄二進制日誌。在每一個事務更新數據完成以前, master在二進制日誌記錄這些改變。MySQL將事務寫入二進制日誌。在事件寫入二進制日誌完成後, master通知存儲引擎提交事務。 下一步就是slave將master的binary log拷貝到它本身的中繼日誌。首先,slave開始一個工做線程——I/O線程。I/O線程在master上打開一個普通的鏈接,而後開始binlog dump process。Binlog dump process從master的二進制日誌中讀取事件,若是已經同步了master,它會睡眠並等待master產生新的事件。I/O線程將這些事件寫入中繼日誌。 SQL slave thread(SQL從線程)處理該過程的最後一步。SQL線程從中繼日誌讀取事件,並重放其中的事件而更新slave的數據,使其與master中的數據一致。只要該線程與I/O線程保持一致,中繼日誌一般會位於OS的緩存中,因此中繼日誌的開銷很小。 主主同步就是兩臺機器互爲主的關係,在任何一臺機器上寫入都會同步。 若mysql主機開啓了防火牆,須要關閉防火牆或建立規則。 sql
開啓方法:在MySQL配置文件[MySQLd]段中加上log-bin=MySQL-bin選項,兩臺MySQL的server-ID不能同樣,默認狀況下兩臺MySQL的serverID都是1需將其中一臺修改成2便可。 mysql-master01: [root@mysql-master01 ~]# vim /etc/my.cnf [mysqld] basdir=/usr/local/mysql datadir=/usr/local/mysql/data pid-file=/usr/local/mysql/data/mysqld.pid log-error=/usr/local/mysql/data/mysql.err socket=/tmp/mysql.sock log-bin=mysql-bin //二進制日誌 server-id=1 relay-log=relay-bin //中繼日誌,存儲全部主庫TP過來的binlog事件 relay-log-index=relay-bin.index auto_increment_increment=2 auto_increment_offset=1 [root@mysql-master01 ~]# systemctl restart mysqld mysql-master02: [root@mysql-master02 ~]# vim /etc/my.cnf [mysqld] basdir=/usr/local/mysql datadir=/usr/local/mysql/data pid-file=/usr/local/mysql/data/mysqld.pid log-error=/usr/local/mysql/data/mysql.err socket=/tmp/mysql.sock log-bin=mysql-bin server-id=2 relay-log=relay-bin relay-log-index=relay-bin.index auto_increment_increment=2 auto_increment_offset=2 [root@mysql-master02 ~]# systemctl restart mysqld
PS:master1和master2只有server-id不一樣和 auto-increment-offset不一樣數據庫
mysql中有自增加字段,在作數據庫的主主同步時須要設置自增加的兩個相關配置:auto_increment_offset和auto_increment_increment。
auto-increment-increment表示自增加字段每次遞增的量,其默認值是1。它的值應設爲整個結構中服務器的總數,本案例用到兩臺服務器,因此值設爲2。
auto-increment-offset是用來設定數據庫中自動增加的起點(即初始值)。由於這兩能服務器都設定了一次自動增加值2,因此它們的起點必須得不一樣,這樣才能避免兩臺服務器數據同步時出現主鍵衝突,主鍵自增:防止由於網絡問題發生故障,致使數據衝突 vim
[root@mysql-master01 ~]# mysql -uroot -p123.com mysql> grant replication slave on *.* to rep@'192.168.1.%' identified by '123'; mysql> flush privileges;
查看master1的當前binlog狀態信息後端
mysql> show master status;
在mysql-master02上將mysql-master01設爲自已的主服務器並開啓slave功能。 [root@mysql-master02 ~]# mysql -uroot -p123.com mysql> change master to master_host='192.168.1.1',master_user='rep',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=608; Query OK, 0 rows affected, 2 warnings (0.01 sec) mysql> start slave; Query OK, 0 rows affected (0.00 sec) 針對MySQl的防火牆規則: 設置規則: #iptables I INPUT –p tcp –dport 3306 –j ACCEPT #service iptables save 或者關閉防火牆 #systemctl stop firewalld
查看從的狀態,如下兩個值必須爲yes,表明從服務器能正常鏈接主服務器緩存
PS :若是是克隆,會報UUID相同的錯誤信息,致使Slave_IO_Running爲NO,這種狀況直接到任意一臺主機的/usr/local/mysql/data/auto.cnf文件,將裏面的UUID刪除,重啓mysql服務就行。bash
mysql> show slave status\G
mysql-master02: mysql> grant replication slave on *.* to rep@'192.168.1.%' identified by '123'; Query OK, 0 rows affected, 1 warning (0.01 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec)
查看mysql-master02的當前binlog狀態信息服務器
mysql> show master status;
在mysql-master01上將mysql-master02設爲自已的主服務器並開啓slave功能。網絡
mysql> change master to master_host='192.168.1.8',master_user='rep',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=608; Query OK, 0 rows affected, 2 warnings (0.01 sec) mysql> start slave; Query OK, 0 rows affected (0.00 sec)
防火牆同上。
查看從的狀態,如下兩個值必須爲yes,表明從服務器能正常鏈接主服務器
mysql> show slave status\G
mysql> create database test_db; mysql> use test_db; mysql> create table tab1(id int); 查看mysql-master02主機是否同步了mysql-master01上的數據變化 mysql> show databases;
mysql> use test_db; mysql> show tables;
在mysql-master02主機上向tab1表中插入數據,查看mysql-master01是否同步了數據
mysql> insert into tab1 values(1); mysql> select * from tab1;
使用mysql-master01查看:
mysql> select * from tab1;
雙主同步完成
PS:若主MYSQL服務器已經存在,只是後期才搭建從MYSQL服務器,在置配數據同步前應先將主MYSQL服務器的要同步的數據庫拷貝到從MYSQL服務器上(如先在主MYSQL上備份數據庫,再用備份在從MYSQL服務器上恢復).
下面就來完成keepalived的高可用性。 keepalived是集羣管理中保證集羣高可用的一個軟件解決方案,其功能相似於heartbeat,用來防止單點故障 keepalived是以VRRP協議爲實現基礎的,VRRP全稱Virtual RouterRedundancy Protocol,即虛擬路由冗餘協議。 虛擬路由冗餘協議,能夠認爲是實現路由器高可用的協議,即將N臺提供相同功能的路由器組成一個路由器組,這個組裏面有一個master和多個backup,master上面有一個對外提供服務的vip,master會發組播(組播地址爲224.0.0.18),當backup收不到vrrp包時就認爲master宕掉了,這時就須要根據VRRP的優先級來選舉一個backup當master。這樣的話就能夠保證路由器的高可用了。keepalived主要有三個模塊,分別是core 、check和vrrp。core模塊爲keepalived的核心,負責主進程的啓動、維護以及全局配置文件的加載和解析。check負責健康檢查,包括常見的各類檢查方式。vrrp模塊是來實現VRRP協議的。
[root@mysql-master01 ~]# yum install kernel-devel openssl-devel popt-devel [root@mysql-master02 ~]# yum install kernel-devel openssl-devel popt-devel 下載keepalived包: https://www.keepalived.org/
編譯安裝:
[root@mysql-master01 ~]# tar zxf keepalived-2.0.20.tar.gz [root@mysql-master01 ~]# cd keepalived-2.0.20/ [root@mysql-master01 keepalived-2.0.20]# ./configure --prefix=/ && make && make install ###第二臺省略…
PS:如不知道keepalived須要哪些依賴包,可到下載後的源碼解壓目錄下查看INSTALL 文件內容, 執行makeinstall操做以後,會自動生成/etc/init.d/keepalived腳本文件,但還須要手動添加爲系統服務,這樣就可使用service、chkconfig工具來對keepalived服務程序進行管理了。
針對keepalived的防火牆規則: 添加規則: # firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --in-interfaceenp0s3 --destination 224.0.0.18 --protocol vrrp -j ACCEPT # firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interfaceenp0s3 --destination 224.0.0.18 --protocol vrrp -j ACCEPT # firewall-cmd --reload 關閉防火牆: # systemctl stop firewalld
global_defs:主要是配置故障發生時的通知對象以及機器標識。
vrrp_instance:用來定義對外提供服務的VIP區域及其相關屬性。
virtual_server:虛擬服務器定義
mysql-master01主機上的keepalived.conf文件的修改:
[root@mysql-master01 ~]# vim /etc/keepalived/keepalived.conf ! Configuration File for keepalived //註釋 global_defs { router_id mysql-master01 //keepalived服務器的一個標識 } vrrp_instance VI_1 { state BACKUP //指定keepalived的角色, 兩臺配置此處均是BACKUP,設爲BACKUP將根據優先級決定主或從 interface ens33 //指定HA監測網絡的接口 virtual_router_id 51 //虛擬路由標識,這個標識是一個數字(取值在0-255之間,用來區分多個instance的VRRP組播),同一個vrrp實例使用惟一的標識,確保和master2相同,同網內不一樣集羣此項必須不一樣,不然發生衝突。 priority 100 //用來選舉master的,要成爲master,該項取值範圍是1-255(在此範圍以外會被識別成默認值100),此處master2上設置爲50 nopreempt //不搶佔,即容許一個priority比較低的節點做爲master,即便有priority更高的節點啓動 advert_int 1 //發VRRP包的時間間隔,即多久進行一次master選舉(能夠認爲是健康查檢時間間隔) authentication { //認證區域,認證類型有PASS和HA(IPSEC),推薦使用PASS(密碼只識別前8位) auth_type PASS auth_pass 1111 } virtual_ipaddress { //VIP區域,指定vip地址 192.168.1.100 } } virtual_server 192.168.1.100 3306 { //設置虛擬服務器,須要指定虛擬IP地址和服務端口,IP與端口之間用空格隔開 delay_loop 6 //設置運行狀況檢查時間,單位是秒 lb_algo rr //設置後端調度算法,這裏設置爲rr,即輪詢算法 lb_kind DR //設置LVS實現負載均衡的機制,有NAT、TUN、DR三個模式可選 persistence_timeout 50 //會話保持時間,單位是秒。這個選項對動態網頁是很是有用的,爲集羣系統中的session共享提供了一個很好的解決方案。有了這個會話保持功能,用戶的請求會被一直分發到某個服務節點,直到超過這個會話的保持時間。 protocol TCP //指定轉發協議類型,有TCP和UDP兩種 real_server 192.168.1.1 3306 { //配置服務節點1,須要指定real server的真實IP地址和端口,IP與端口之間用空格隔開 notify_down /etc/keepalived/bin/mysql.sh weight 1 //配置服務節點的權值,權值大小用數字表示,數字越大,權值越高,設置權值大小爲了區分不一樣性能的服務器 notify_down /etc/keepalived/bin/mysql.sh //檢測到realserver的mysql服務down後執行的腳本 TCP_CHECK { connect_port 3306 //健康檢查端口 connect_timeout 3 //鏈接超時時間 retry 3 //重連次數 delay_before_retry 3 //重連間隔時間 } } }
mysql-master01上有關keepalived.conf的具體配置以下:
! Configuration File for keepalived global_defs { router_id mysql-master01 } vrrp_instance VI_1 { state BACKUP interface ens33 virtual_router_id 51 priority 100 nopreempt advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.1.100 } } virtual_server 192.168.1.100 3306 { delay_loop 6 lb_algo rr lb_kind DR persistence_timeout 50 protocol TCP real_server 192.168.1.1 3306 { notify_down /etc/keepalived/bin/mysql.sh weight 1 TCP_CHECK { connect_port 3306 connect_timeout 3 retry 3 delay_before_retry 3 } } }
編寫腳本文件中對應的腳本,並啓動服務
[root@mysql-master01 ~]# mkdir /etc/keepalived/bin/ [root@mysql-master01 ~]# vim /etc/keepalived/bin/mysql.sh #!/bin/bash pkill keepalived [root@mysql-master01 ~]# chmod +x /etc/keepalived/bin/mysql.sh //添加執行權限,否則沒有權限執行腳本,則關閉不了keepalived [root@mysql-master01 ~]# systemctl start keepalived.service
mysql-master02主機上的keepalived.conf文件的修改:
[root@mysql-master01 ~]# scp /etc/keepalived/keepalived.conf 192.168.1.8:/etc/keepalived/ [root@mysql-master02 ~]# vim /etc/keepalived/keepalived.conf ! Configuration File for keepalived global_defs { router_id mysql-master02 } vrrp_instance VI_1 { state BACKUP interface ens33 virtual_router_id 51 priority 50 nopreempt advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.1.100 } } virtual_server 192.168.1.100 3306 { delay_loop 6 lb_algo rr lb_kind DR persistence_timeout 50 protocol TCP real_server 192.168.1.8 3306 { notify_down /etc/keepalived/bin/mysql.sh weight 1 TCP_CHECK { connect_port 3306 connect_timeout 3 retry 3 delay_before_retry 3 } } }
編寫腳本,並啓動服務
[root@mysql-master02 ~]# mkdir /etc/keepalived/bin/ [root@mysql-master02 ~]# vim /etc/keepalived/bin/mysql.sh #!/bin/bash pkill keepalived [root@mysql-master02 ~]# chmod +x /etc/keepalived/bin/mysql.sh [root@mysql-master02 ~]# systemctl start keepalived.service
mysql-master01:
[root@mysql-master01 ~]# ip a
mysql-master02:
[root@mysql-master02 ~]# ip a
模擬mysql-master01宕機,查看是否會自動關閉keepalived服務,而且漂移地址轉換到了mysql-master02
[root@mysql-master01 ~]# ps -ef |grep keep
mysql-master02:
[root@mysql-master02 ~]# ip a
由於兩臺keepalived的配置文件都關閉了佔先權,因此即便mysql-master01的服務再次啓動,漂移地址也依然在mysql-master02上。
Keepalived+mysql雙主通常來講,中小型規模的時候,採用這種架構是最省事的。 在master節點發生故障後,利用keepalived的高可用機制實現快速切換到備用節點。
在這個方案裏,須要注意的地方:
一、採用keepalived做爲高可用方案時,兩個節點最好都設置成BACKUP模式,避免由於意外狀況下(好比腦裂(經過心跳機制來監聽對方狀態,若是心跳失效,每臺電腦都認爲對方失效了,從而把本身提高爲主,致使數據不一致))相互搶佔致使往兩個節點寫入相同數據而引起衝突; 二、把兩個節點的auto_increment_increment(自增步長)和auto_increment_offset(自增起始值)設成不一樣值。其目的是爲了不master節點意外宕機時,可能會有部分binlog未能及時複製到slave上被應用,從而會致使slave新寫入數據的自增值和原先master上衝突了,所以一開始就使其錯開;可是,若是有合適的容錯機制能解決主從自增ID衝突的話,也能夠不這麼作; 三、slave節點服務器配置不要太差,不然更容易致使複製延遲。做爲熱備節點的slave服務器,硬件配置不能低於master節點; 四、若是對延遲問題很敏感的話,可考慮使用MariaDB分支版本,或者直接上線MySQL 5.7最新版本,利用多線程複製的方式能夠很大程度下降複製延遲;