2019.10.28 基於MHA的MySQL高可用方案

時間 2019-11-11

標籤 2019.10.28 基於 mha mysql 可用方案欄目 MySQL 简体版

原文原文鏈接

1、前期環境部署node

一、配置全部主機名稱mysql

111：hostname server01linux

bashsql

112：hostname server02數據庫

bashvim

113：hostname server03安全

bashbash

114：hostname server04服務器

bashapp

115：hostname server05

bash

二、配置全部主機名映射

115：vim /etc/hosts 添加如下內容：

192.168.200.111 server01

192.168.200.112 server02

192.168.200.113 server03

192.168.200.114 server04

192.168.200.115 server05

發送給其餘主機：

scp /etc/hosts 192.168.200.111:/etc/

scp /etc/hosts 192.168.200.112:/etc/

scp /etc/hosts 192.168.200.113:/etc/

scp /etc/hosts 192.168.200.114:/etc/

三、全部主機關閉防火牆和安全機制

systemctl stop iptables

systemctl stop firewalld

setenforce 0

四、上傳mha-manager 和 mha-node

115：上傳三個

1十一、1十二、11三、114上傳兩個

2、安裝MHA node

一、全部主機安裝 MHA node 及相關 perl 依賴包

安裝 epel 源:

rpm -ivh epel-release-latest-7.noarch.rpm

yum install -y perl-DBD-MySQL.x86_64 perl-DBI.x86_64 perl-CPAN perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker

注意：安裝後建議檢查一下所需軟件包是否所有安裝：

rpm -q perl-DBD-MySQL.x86_64 perl-DBI.x86_64 perl-CPAN perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker

二、全部主機上安裝 MHA Node

tar xf mha4mysql-node-0.56.tar.gz

cd mha4mysql-node-0.56/

perl Makefile.PL

make && make install

三、MHA Node 安裝完後會在 /usr/local/bin 生成如下腳本

ls -l /usr/local/bin/

3、安裝MHA Manger（115）

注意：安裝 MHA Manger 以前也須要安裝 MHA Node

一、首先安裝 MHA Manger 依賴的 perl 模塊（我這裏使用 yum 安裝）

yum install -y perl perl-Log-Dispatch perl-Parallel-ForkManager perl-DBD-MySQL perl-DBI perl-Time-HiRes

yum -y install perl-Config-Tiny-2.14-7.el7.noarch.rpm

檢查有沒有安裝上： rpm -q perl perl-Log-Dispatch perl-Parallel-ForkManager perl-DBD-MySQL perl-DBI perl-Time-HiRes perl-Config-Tiny

二、安裝 MHA Manger 軟件包

tar xf mha4mysql-manager-0.56.tar.gz

cd mha4mysql-manager-0.56/

perl Makefile.PL

make && make install

三、安裝完成以後會比以前多出一些的腳本文件

ls -l /usr/local/bin/

4、配置 SSH 密鑰對驗證

服務器之間須要實現密鑰對驗證。關於配置密鑰對驗證可看下面步驟。可是有一點須要

注意：不能禁止 password 登錄，不然會出現錯誤

一、服務器先生成一個密鑰對（115）

ssh-keygen -t rsa

2.、把本身的公鑰傳給對方

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.111

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.112

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.113

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.114

注意：Server05 須要鏈接每一個主機測試，由於第一次鏈接的時候須要輸入 yes，影響後期故

障切換時，對於每一個主機的 SSH 控制。

ssh server02

ssh server03

ssh server04

三、Primary Master（111）

ssh-keygen -t rsa

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.112

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.113

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.114

四、Secondary Master（112）

ssh-keygen -t rsa

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.111

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.113

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.114

五、slave1（113）

ssh-keygen -t rsa

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.111

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.112

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.114

六、salve2（114）

ssh-keygen -t rsa

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.111

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.112

ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.200.113

5、安裝mysql

111-114：

yum -y install mariadb mariadb-server mariadb-devel

systemctl start mariadb

netstat -lnpt | grep :3306

設置數據庫初始密碼：

mysqladmin -u root password 123

6、搭建主從複製環境

注意：binlog-do-db 和 replicate-ignore-db 設置必須相同。 MHA 在啓動時候會檢測過濾規則，若是過濾規則不一樣，MHA 將不啓動監控和故障轉移功能。

一、修改 mysql 主機的配置文件

（1）Primary Master（111）

vim /etc/my.cnf 添加如下內容

[mysqld]

server-id = 1

log-bin=master-bin

log-slave-updates=true

relay_log_purge=0

重啓mariadb：

systemctl restart mariadb

（2）Secondary Master（112）

vim /etc/my.cnf 添加如下內容

[mysqld]

server-id=2

log-bin=master-bin

log-slave-updates=true

relay_log_purge=0

重啓mariadb：

systemctl restart mariadb

（3）slave1（113）

vim /etc/my.cnf 添加如下內容

[mysqld]

server-id=3

log-bin=mysql-bin

relay-log=slave-relay-bin

log-slave-updates=true

relay_log_purge=0

重啓mariadb：

systemctl restart mariadb

（4）slave2（114）

vim /etc/my.cnf 添加如下內容

[mysqld]

server-id=4

log-bin=mysql-bin

relay-log=slave-relay-bin

log-slave-updates=true

relay_log_purge=0

重啓mariadb：

systemctl restart mariadb

二、對舊數據進行備份（沒有則忽略）

三、mysql 服務器建立複製受權用戶（111）

grant replication slave on *.* to 'repl'@'192.168.200.%' identified by '123';

flush privileges;

四、查看主庫備份時的 binlog 名稱和位置

MariaDB [(none)]> show master status;

五、執行復制的相關命令

stop slave;

CHANGE MASTER TO

MASTER_HOST='192.168.200.111',

MASTER_USER='repl',

MASTER_PASSWORD='1234',

MASTER_LOG_FILE='master-bin.000001',

MASTER_LOG_POS=474;

start slave;

檢查 IO 和 SQL 線程是否爲yes：

show slave status\G

主從同步故障處理

Slave_IO_Running: No

Slave_SQL_Running: Yes

-----------------------------------忽略部分信息-----------------------------------

Last_IO_Errno: 1236

Last_IO_Error: Got fatal error 1236 from master when reading data from

binary log: 'Could not find first log file name in binary log index file'

-----------------------------------忽略部分信息-----------------------------------

處理方式：

stop slave;

reset slave;

set global sql_slave_skip_counter =1 ;

start slave;

六、三臺 slave 服務器設置 read_only 狀態

從庫對外只提供讀服務，只因此沒有寫進 mysql 配置文件，是由於隨時 server02 會提高爲master

[root@server02 ~]# mysql -uroot -p123456 -e 'set global read_only=1'

[root@server03 ~]# mysql -uroot -p123456 -e 'set global read_only=1'

[root@server04 ~]# mysql -uroot -p123456 -e 'set global read_only=1'

七、建立監控用戶（111-114）

grant all privileges on *.* to 'root'@'192.168.200.%' identified by '123';

flush privileges;

爲本身的主機名受權：

grant all privileges on *.* to 'root'@'server04' identified by '123456';

flush privileges;

7、配置MHA環境

一、建立 MHA 的工做目錄及相關配置文件（115）

在軟件包解壓後的目錄裏面有樣例配置文件

mkdir /etc/masterha

cp mha4mysql-manager-0.56/samples/conf/app1.cnf /etc/masterha

二、修改 app1.cnf 配置文件

/usr/local/bin/master_ip_failover 腳本須要根據本身環境修改 ip 和網卡名稱等。

vim /etc/masterha/app1.cnf

[server default]

#設置 manager 的工做日誌

manager_workdir=/var/log/masterha/app1

#設置 manager 的日誌,這兩條都是默認存在的

manager_log=/var/log/masterha/app1/manager.log

#設置 master 默認保存 binlog 的位置,以便 MHA 能夠找到 master 日誌

master_binlog_dir=/var/lib/mysql

#設置自動 failover 時候的切換腳本

master_ip_failover_script= /usr/local/bin/master_ip_failover

#設置 mysql 中 root 用戶的密碼

password=123456

user=root

#ping 包的時間間隔

ping_interval=1

#設置遠端 mysql 在發生切換時保存 binlog 的具體位置

remote_workdir=/tmp

#設置複製用戶的密碼和用戶名

repl_password=123456

repl_user=repl

[server1]

hostname=server01

port=3306

[server2]

hostname=server02

candidate_master=1

port=3306

check_repl_delay=0

[server3]

hostname=server03

port=3306

[server4]

hostname=server04

port=3306

三、配置故障轉移腳本（115）

vim /usr/local/bin/master_ip_failover

#!/usr/bin/env perl

use strict;

use warnings FATAL => 'all';

use Getopt::Long;

my (

$command, $ssh_user, $orig_master_host, $orig_master_ip,

$orig_master_port, $new_master_host, $new_master_ip, $new_master_port,

);

my $vip = '192.168.200.100'; # 寫入 VIP

my $key = "1"; #非 keepalived 方式切換腳本使用的

my $ssh_start_vip = "/sbin/ifconfig ens32:$key $vip";

my $ssh_stop_vip = "/sbin/ifconfig ens32:$key down"; #那麼這裏寫服務的開關命令

$ssh_user = "root";

GetOptions(

'command=s' => \$command,

'ssh_user=s' => \$ssh_user,

'orig_master_host=s' => \$orig_master_host,

'orig_master_ip=s' => \$orig_master_ip,

'orig_master_port=i' => \$orig_master_port,

'new_master_host=s' => \$new_master_host,

'new_master_ip=s' => \$new_master_ip,

'new_master_port=i' => \$new_master_port,

);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

# $orig_master_host, $orig_master_ip, $orig_master_port are passed.

# If you manage master ip address at global catalog database,

# invalidate orig_master_ip here.

my $exit_code = 1;

#eval {

# print "Disabling the VIP on old master: $orig_master_host \n";

# &stop_vip();

# $exit_code = 0;

#};

eval {

print "Disabling the VIP on old master: $orig_master_host \n";

#my $ping=`ping -c 1 10.0.0.13 | grep "packet loss" | awk -F',' '{print $3}' | awk '{print $1}'`;

#if ( $ping le "90.0%"&& $ping gt "0.0%" ){

#$exit_code = 0;

#else {

&stop_vip();

# updating global catalog, etc

$exit_code = 0;

};

if ($@) {

warn "Got Error: $@\n";

exit $exit_code;

}

exit $exit_code;

}

elsif ( $command eq "start" ) {

# all arguments are passed.

# If you manage master ip address at global catalog database,

# activate new_master_ip here.

# You can also grant write access (create user, set read_only=0, etc) here.

my $exit_code = 10;

eval {

print "Enabling the VIP - $vip on the new master - $new_master_host \n";

&start_vip();

$exit_code = 0;

};

if ($@) {

warn $@;

exit $exit_code;

}

exit $exit_code;

}

elsif ( $command eq "status" ) {

print "Checking the Status of the script.. OK \n";

`ssh $ssh_user\@$orig_master_ip \" $ssh_start_vip \"`;

exit 0;

}

else {

&usage();

exit 1;

}

# A simple system call that enable the VIP on the new master

sub start_vip() {

`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;

}

# A simple system call that disable the VIP on the old_master

sub stop_vip() {

`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;

}

sub usage {

"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host

--orig_master_ip=ip --orig_master_port=port --

new_master_host=host --new_master_ip=ip --new_master_port=port\n"; }

添加執行權限：

chmod +x /usr/local/bin/master_ip_failover

四、設置從庫 relay log 的清除方式（112-114）

mysql -uroot -p123456 -e 'set global relay_log_purge=0;'

注意：

MHA 在故障切換的過程當中，從庫的恢復過程依賴於 relay log 的相關信息，因此這裏要

將 relay log 的自動清除設置爲 OFF，採用手動清除 relay log 的方式。在默認狀況下，從服務

器上的中繼日誌會在 SQL 線程執行完畢後被自動刪除。可是在 MHA 環境中，這些中繼日誌

在恢復其餘從服務器時可能會被用到，所以須要禁用中繼日誌的自動清除功能。按期清除中

繼日誌須要考慮到複製延時的問題。在 ext3 的文件系統下，刪除大的文件須要必定的時間，

會致使嚴重的複製延時。爲了不復制延時，須要暫時爲中繼日誌建立硬連接，由於在 linux

系統中經過硬連接刪除大文件速度會很快。（在 mysql 數據庫中，刪除大表時，一般也採用

創建硬連接的方式）

五、手動清除中繼日誌

purge_relay_logs --user=root --password=123 --disable_relay_log_purge --port=3306 --workdir=/tmp

六、檢查 MHA ssh 通訊狀態（115）

masterha_check_ssh --conf=/etc/masterha/app1.cnf

最後會返回 successfully 表示沒有問題

七、檢查整個集羣的狀態

masterha_check_repl --conf=/etc/masterha/app1.cnf

最後會出現這一句：MySQL Replication Health is OK.

8、VIP配置管理

經過命令方式管理 VIP 地址：

打開在前面編輯過的文件/etc/masterha/app1.cnf，檢查以下行是否正確，再檢查集羣狀態。

[root@server05 ~]# grep -n 'master_ip_failover_script' /etc/masterha/app1.cnf

一、Primary Master（111）

[root@server01 ~]# ip a | grep en016777728

二、Server05修改故障轉移腳本（115）

[root@server05 ~]# head -13 /usr/local/bin/master_ip_failover

#!/usr/bin/env perl

use strict;

use warnings FATAL => 'all';

use Getopt::Long;

my (

$command, $ssh_user, $orig_master_host, $orig_master_ip,

$orig_master_port, $new_master_host, $new_master_ip, $new_master_port,

);

my $vip = '192.168.200.100'; # 寫入 VIP

my $key = "1"; #非 keepalived 方式切換腳本使用的

my $ssh_start_vip = "/sbin/ifconfig ens32:$key $vip"; #如果使用 keepalived

my $ssh_stop_vip = "/sbin/ifconfig ens32:$key down"; #那麼這裏寫服務的開關命令

/usr/local/bin/master_ip_failover 文件的內容意思是當主庫發生故障時，會觸發 MHA 切

換，MHA manager 會停掉主庫上的 ens32:1 接口，觸發虛擬 ip 漂移到備選從庫，從而完成

切換。

三、檢查 manager 狀態（115）

masterha_check_status --conf=/etc/masterha/app1.cnf

app1 is stopped(2:NOT_RUNNING).

四、Server05開啓 manager 監控（115）

[root@server05 ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dea d_master_conf --ignore_last_failover< /dev/null >/var/log/masterha/app1/manager.log 2>&1 &

五、查看 Server05 監控是否正常（115）

[root@monitor ~]# masterha_check_status --conf=/etc/masterha/app1.cnf

app1 (pid:65837) is running(0:PING_OK), master:server01

發現已經將 VIP：192.168.200.100 綁定在網卡 en016777728，能夠查看一下：

[root@server01 ~]# ip a | grep ens32

9、模擬主庫故障（111）

[root@server01 ~]# systemctl stop mariadb

[root@server01 ~]# netstat -lnpt | grep :3306

[root@server01 ~]# ip a | grep ens32

查看11三、114

MariaDB [(none)]> show slave status\G

Server05 監控已經自動關閉（115）

查看監控配置文件已經發生了變化（115）（server01 的配置已被刪除）

[root@server05 ~]# cat /etc/masterha/app1.cnf

10、故障主庫修復及 VIP 切回測試

一、Primary Master（111）

[root@server01 ~]# systemctl start mariadb

[root@server01 ~]# netstat -lnpt | grep :3306

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN

6131/mysqld

二、Primary Master指向新的主庫（111）

[root@server01 ~]# mysql -u root -p123456

stop slave;

CHANGE MASTER TO

MASTER_HOST='192.168.200.112',

MASTER_USER='repl',

MASTER_PASSWORD='123456';

start slave;

show slave status\G

三、Server05修改監控配置文件添加 server1 配置（115）

[root@server05 ~]# vim /etc/masterha/app1.cnf

[server01]

hostname=server01

port=3306

四、檢查集羣狀態（115）

[root@server05 ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf

最後看到

MySQL Replication Health is OK.

五、Server05開啓監控（115）

[root@server05 ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover< /dev/null >/var/log/masterha/app1/manager.log 2>&1 &

六、Secondary Master關閉現有主庫 mysql（112）

[root@server02 ~]# systemctl stop mariadb

[root@server02 ~]# netstat -lnpt | grep :3306

七、Primary Maste（111）

[root@server01 ~]# ip a | grep ens32

發現VIP去到了112上

查看11三、114的狀態：

MariaDB [(none)]> show slave status\G

Server05配置文件變化（已經移除故障機 server2 配置）

[root@server05 ~]# cat /etc/masterha/app1.cnf

八、修復 Secondary Master主機（112）

[root@server02 ~]# systemctl start mariadb