使用MHA實現MySQL主從複製高可用

時間  2019-11-17
標籤 使用 mha 實現 mysql 主從 複製 可用 欄目 MySQL 简体版
原文   原文鏈接

使用MHA實現MySQL主從複製高可用

2018年07月31日 16:37:10 wzy0623 閱讀數 4910更多
所屬專欄： MySQL高可用方案
 
版權聲明：本文爲博主原創文章，未經博主容許不得轉載。 https://blog.csdn.net/wzy0623/article/details/81304654

目錄html

1、MHA簡介node

2、實驗架構設計mysql

1. 基本環境linux

2. 架構設計git

3、MHA安裝配置github

1. 配置主從複製redis

2. 安裝Perl等依賴模塊sql

3. 配置SSH登陸無密碼驗證數據庫

4. 安裝MHA Nodebash

5. 安裝MHA Manager

6. 配置MHA

7. 建立相關腳本

4、檢查MHA配置

1. 檢查SSH配置

2. 檢查整個複製環境情況

3. 檢查MHA Manager的狀態

4. 查看啓動日誌

5、功能測試

1. 初始綁定VIP

2. 測試自動切換

3. 測試手工切換

4. 測試在線切換

5. 修復宕機的Master 

參考：

1、MHA簡介

        MHA（Master High Availability）目前在MySQL高可用方面是一個相對成熟的解決方案，它由日本DeNA公司的youshimaton（現就任於Facebook公司）開發，是一套優秀的做爲MySQL高可用性環境下故障切換和主從提高的高可用軟件。在MySQL故障切換過程當中，MHA能作到在0~30秒以內自動完成數據庫的故障切換操做，而且在進行故障切換的過程當中，MHA能在最大程度上保證數據的一致性，以達到真正意義上的高可用。

        該軟件由兩部分組成：MHA Manager（管理節點）和MHA Node（數據節點）。MHA Manager能夠單獨部署在一臺獨立的機器上管理多個master-slave集羣，也能夠部署在一臺slave節點上。MHA Node運行在每臺MySQL服務器上，MHA Manager會定時探測集羣中的master節點，當master出現故障時，它能夠自動將最新數據的slave提高爲新的master，而後將全部其餘的slave從新指向新的master。整個故障轉移過程對應用程序徹底透明。

        在MHA自動故障切換過程當中，MHA試圖從宕機的主服務器上保存二進制日誌，最大程度的保證數據的不丟失，但這並不老是可行的。例如，若是主服務器硬件故障或沒法經過ssh訪問，MHA無法保存二進制日誌，只進行故障轉移而丟失了最新的數據。使用MySQL 5.5的半同步複製，能夠大大下降數據丟失的風險。MHA能夠與半同步複製結合起來。若是隻有一個slave已經收到了最新的二進制日誌，MHA能夠將最新的二進制日誌應用於其餘全部的slave服務器上，所以能夠保證全部節點的數據一致性。

        目前MHA主要支持一主多從的架構。要搭建MHA，要求一個複製集羣中必須最少有三臺數據庫服務器，一主二從，即一臺充當master，一臺充當備用master，另一臺充當從庫。由於至少須要三臺服務器，出於機器成本的考慮，淘寶也在該基礎上進行了改造，目前淘寶TMHA已經支持一主一從。（出自：《深刻淺出MySQL(第二版)》）從代碼層面看，MHA就是一套Perl腳本，那麼相信以阿里系的技術實力，將MHA改爲支持一主一從也並不是難事。

圖1所示爲MHA架構：

圖1

        MHA工做原理總結爲如下幾條：

  1. 從宕機崩潰的master保存二進制日誌事件（binlog events）；
  2. 識別含有最新更新的slave；
  3. 應用差別的中繼日誌（relay log）到其餘slave；
  4. 應用從master保存的二進制日誌事件（binlog events）；
  5. 提高一個slave爲新master；
  6. 使用其餘的slave鏈接新的master進行復制。

        官方介紹：https://code.google.com/archive/p/mysql-master-ha/
 

2、實驗架構設計

1. 基本環境

  • 操做系統版本：CentOS Linux release 7.2.1511 (Core)
  • MySQL版本：5.6.14
  • VIP（虛IP）：172.16.1.100
  • 主機信息：見表1

角色

IP

主機名

網卡

server_id

 功能

Monitor Host

172.16.1.124

hdp1

-

-

監控複製組

Master

172.16.1.127

hdp4

ens160

127

響應寫請求

Candidate Master

172.16.1.126

hdp3

ens32

126

響應讀請求

Slave

172.16.1.125

hdp2

ens32

125

響應讀請求

表1

2. 架構設計

        實驗架構如圖2所示。

圖2

        hdp1做爲MHA Manager，其它三臺主機構成MySQL一主二從複製集羣，做爲MHA Node。

3、MHA安裝配置

1. 配置主從複製

        MySQL主從複製的配置較爲簡單，具體過程可參考MySQL官方文檔，這裏從略。若是是全新搭建的複製，只要打開Master的binlog，而後將Slave change master到指定的file和pos，再start slave便可。若是是爲已經存在且正在使用的數據庫搭建從庫，有兩種方式，一是用mysqldump master-data參數記錄master的file和pos，但可能卡庫；比較好的方法是用innobackupex聯機搭建從庫，過程以下：
（1）前置條件

  • 主從都安裝好依賴包：
yum install perl perl-DBI perl-DBD-MySQL perl-IO-Socket-SSL perl-Time-HiRes
  • ​​​主從都安裝percona-xtrabackup
  • 設置PATH環境變量，如：
.:/sbin:/bin:/usr/sbin:/usr/bin:/usr/X11R6/bin:/home/mysql/mysql-5.6.14/bin:/home/mysql/percona-xtrabackup-2.2.4-Linux-x86_64/bin:/home/mysql/bin

（2）配置主到從的SSH免密碼鏈接
        在主上用mysql用戶執行：

 
  1.  
    ssh-keygen    
  2.  
    ... 一路回車 ...    
  3.  
    ssh-copy-id slave的IP或主機名

（3）備份並傳輸
        例如，在主上用mysql用戶執行：

innobackupex --user root --password 123456 --defaults-file=/home/mysql/mysql-5.6.14/my.cnf --no-lock --socket=/home/mysql/mysql-5.6.14/mysql.sock --port 3306 --stream=tar ./ | ssh mysql@172.16.1.126 \ "cat - > /home/mysql/backup.tar"  

（4）恢復備份
        在從上用mysql用戶執行：

 
  1.  
    # 解壓縮
  2.  
    tar -ixvf backup.tar -C /home/mysql/mysql-5.6.14/data
  3.  
    # 應用日誌
  4.  
    innobackupex --apply-log /home/mysql/mysql-5.6.14/data/   
  5.  
     
  6.  
    # 查看binlog日誌文件的位置值
  7.  
    cat /home/mysql/mysql-5.6.14/data/xtrabackup_binlog_info
  8.  
     
  9.  
    # 編輯my.cnf
  10.  
    vi /etc/my.cnf
  11.  
     
  12.  
    # 啓動MySQL，目錄要和主保持一致
  13.  
    service mysql start
  14.  
     
  15.  
    mysql -uroot -p123456 -P3306 -h127.0.0.1
  16.  
     
  17.  
    # 配置複製
  18.  
    reset master;
  19.  
    reset slave all;
  20.  
     
  21.  
    change master to
  22.  
    master_host='172.16.1.127',
  23.  
    master_port=3306,
  24.  
    master_user='repl',
  25.  
    master_password='123456',
  26.  
    master_log_file='mysql-bin.000001',
  27.  
    master_log_pos=120;
  28.  
     
  29.  
    # 其中master_log_file和master_log_pos賦予/home/mysql/mysql5.6.14/data/xtrabackup_binlog_info中的值。
  30.  
     
  31.  
    # 啓動slave
  32.  
    start slave;
  33.  
     
  34.  
    # 查看slave狀態
  35.  
    show slave status\G

（5）後續工做
        備份my.cnf、bat文件和crontab等。

2. 安裝Perl等依賴模塊

        用root用戶在全部四個節點執行下面的操做。

 
  1.  
    # 安裝一個epel源
  2.  
    wget -O /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-7.repo
  3.  
     
  4.  
    # 用yum安裝依賴包
  5.  
    yum install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes -y


3. 配置SSH登陸無密碼驗證

        在hdp1 172.16.1.124（Monitor）上用root用戶執行：

 
  1.  
    ssh-keygen -t rsa
  2.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.125
  3.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.126
  4.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.127

        在hdp4 172.16.1.127（Master）上用root用戶執行：

 
  1.  
    ssh-keygen -t rsa
  2.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.125
  3.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.126

        在hdp3 172.16.1.126（slave1）上用root用戶執行：

 
  1.  
    ssh-keygen -t rsa
  2.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.125
  3.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.127

        在hdp2 172.16.1.125（slave2）上用root用戶執行：

 
  1.  
    ssh-keygen -t rsa
  2.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.126
  3.  
    ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.16.1.127


4. 安裝MHA Node

        下載地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads
        在hdp二、hdp三、hdp4上用root用戶執行下面的操做。

rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

        安裝完成後，在/usr/bin/目錄下有以下MHA相關文件：

 
  1.  
    apply_diff_relay_logs
  2.  
    filter_mysqlbinlog
  3.  
    purge_relay_logs
  4.  
    save_binary_logs

        這些腳本工具一般由MHA Manager的腳本觸發，無需人爲操做。腳本說明：

  • apply_diff_relay_logs：識別差別的中繼日誌事件並將其差別的事件應用於其它slave。
  • filter_mysqlbinlog：去除沒必要要的ROLLBACK事件（MHA已再也不使用這個工具）。
  • purge_relay_logs：清除中繼日誌（不會阻塞SQL線程）。
  • save_binary_logs：保存和複製master的二進制日誌。

5. 安裝MHA Manager

        下載地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads
        在hdp1上用root用戶執行下面的操做。

rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm

        安裝完成後，在/usr/bin/目錄下有以下MHA相關文件：

 
  1.  
    masterha_check_repl
  2.  
    masterha_check_ssh
  3.  
    masterha_check_status
  4.  
    masterha_conf_host
  5.  
    masterha_manager
  6.  
    masterha_master_monitor
  7.  
    masterha_master_switch
  8.  
    masterha_secondary_check
  9.  
    masterha_stop
  10.  
    apply_diff_relay_logs
  11.  
    filter_mysqlbinlog
  12.  
    purge_relay_logs
  13.  
    save_binary_logs

6. 配置MHA

        在hdp1上用root用戶執行下面（1）、（2）、（3）的操做。

（1）創建配置文件目錄

mkdir -p /etc/masterha

（2）建立配置文件/etc/masterha/app1.cnf，內容以下：

 
  1.  
    [server default]
  2.  
    manager_log=/var/log/masterha/app1/manager.log
  3.  
    manager_workdir=/var/log/masterha/app1.log
  4.  
    master_binlog_dir=/data
  5.  
    master_ip_failover_script=/usr/bin/master_ip_failover
  6.  
    master_ip_online_change_script=/usr/bin/master_ip_online_change
  7.  
    password=123456
  8.  
    ping_interval=1
  9.  
    remote_workdir=/tmp
  10.  
    repl_password=123456
  11.  
    repl_user=repl
  12.  
    secondary_check_script=/usr/bin/masterha_secondary_check -s hdp4 -s hdp3 --user=root --master_host=hdp4 --master_ip=172.16.1.127 --master_port=3306
  13.  
    shutdown_script=""
  14.  
    ssh_user=root
  15.  
    user=root
  16.  
     
  17.  
    [server1]
  18.  
    hostname=172.16.1.127
  19.  
    port=3306
  20.  
     
  21.  
    [server2]
  22.  
    candidate_master=1
  23.  
    check_repl_delay=0
  24.  
    hostname=172.16.1.126
  25.  
    port=3306
  26.  
     
  27.  
    [server3]
  28.  
    hostname=172.16.1.125
  29.  
    port=3306

        server default段是manager的一些基本配置參數，server一、server二、server3分別對應複製中的master、第一個slave、第二個slave。該文件的語法要求嚴格，變量值後不要有多餘的空格。主要配置項說明以下。

  • manager_log：設置manager的日誌文件。
  • manager_workdir：設置manager的工做目錄。
  • master_binlog_dir：設置master保存binlog的位置，以便MHA能夠找到master的日誌，這裏的也就是mysql的數據目錄。
  • master_ip_failover_script：設置自動failover時候的切換腳本。
  • master_ip_online_change_script：設置手動切換時候的切換腳本。
  • password：設置mysql中root用戶的密碼。
  • ping_interval：設置監控主庫，發送ping包的時間間隔，默認是3秒，嘗試三次沒有迴應的時候自動進行railover。
  • remote_workdir：設置遠端mysql在發生切換時binlog的保存位置。
  • repl_password：設置複製用戶的密碼。
  • repl_user：設置複製環境中的複製用戶名
  • secondary_check_script：一旦MHA到hdp4的監控之間出現問題，MHA Manager將會嘗試從hdp3登陸到hdp4。
  • shutdown_script：設置故障發生後關閉故障主機腳本。該腳本的主要做用是關閉主機放在發生腦裂，這裏沒有使用。
  • ssh_user：設置ssh的登陸用戶名。
  • user：設置監控用戶爲root。
  • candidate_master：設置爲候選master。設置該參數之後，發生主從切換之後將會將此從庫提高爲主庫，即便這個主庫不是集羣中事件最新的slave。
  • check_repl_delay：默認狀況下若是一個slave落後master 100M的relay logs的話，MHA將不會選擇該slave做爲一個新的master，由於對於這個slave的恢復須要花費很長時間，經過設置check_repl_delay=0，MHA觸發切換在選擇一個新的master的時候將會忽略複製延時，這個參數對於設置了candidate_master=1的主機很是有用，由於這個候選主在切換的過程當中必定是新的master。

（3）創建軟鏈接

 
  1.  
    ln -s /home/mysql/mysql-5.6.14/bin/mysqlbinlog /usr/bin/mysqlbinlog
  2.  
    ln -s /home/mysql/mysql-5.6.14/bin/mysql /usr/bin/mysql

（4）設置複製中Slave的relay_log_purge參數
        在hdp3和hdp2上用mysql用戶執行：

mysql -uroot -p123456 -e "set global relay_log_purge=0"

        注意，MHA在發生切換的過程當中，從庫的恢復過程當中依賴於relay log的相關信息，因此這裏要將relay log的自動清除設置爲OFF，採用手動清除relay log的方式。默認狀況下，從服務器上的中繼日誌會在SQL線程執行完畢後被自動刪除。可是在MHA環境中，這些中繼日誌在恢復其餘從服務器時可能會被用到，所以須要禁用中繼日誌的自動刪除功能。按期清除中繼日誌須要考慮到複製延時的問題。在ext3的文件系統下，刪除大的文件須要必定的時間，會致使嚴重的複製延時。爲了不復制延時，須要暫時爲中繼日誌建立硬連接，由於在linux系統中經過硬連接刪除大文件速度會很快。（在mysql數據庫中，刪除大表時，一般也採用創建硬連接的方式）

7. 建立相關腳本

（1）建立按期清理relay腳本
        在hdp三、hdp2兩臺slave上創建/root/purge_relay_log.sh文件，內容以下：

 
  1.  
    #!/bin/bash
  2.  
     
  3.  
    . /home/mysql/.bashrc
  4.  
     
  5.  
    user=root
  6.  
    passwd=123456
  7.  
    port=3306
  8.  
    log_dir='/data'
  9.  
    work_dir='/data'
  10.  
    purge='/usr/bin/purge_relay_logs'
  11.  
     
  12.  
    if [ ! -d $log_dir ]
  13.  
    then
  14.  
       mkdir $log_dir -p
  15.  
    fi
  16.  
     
  17.  
    $purge --user=$user --password=$passwd --disable_relay_log_purge --port=$port --workdir=$work_dir >> $log_dir/purge_relay_logs.log 2>&1

        purge_relay_logs的參數說明：

  • user mysql：MySQL用戶名。
  • password mysql：MySQL用戶密碼。
  • port：MySQL端口號。
  • workdir：指定建立relay log的硬連接的位置，默認是/var/tmp。因爲系統不一樣分區建立硬連接文件會失敗，故須要執行硬連接具體位置，成功執行腳本後，硬連接的中繼日誌文件被刪除。
  • disable_relay_log_purge：默認狀況下，若是relay_log_purge=1，腳本會什麼都不清理，自動退出。經過設定這個參數，當relay_log_purge=1的狀況下會將relay_log_purge設置爲0。清理relay log以後，最後將參數設置爲OFF。

        改模式爲可執行：

chmod 755 purge_relay_log.sh

        手工執行/root/purge_relay_log.sh，在控制檯輸出：

 
  1.  
    2018-07-31 12:45:20: purge_relay_logs script started.
  2.  
     Found relay_log.info: /data/relay-log.info
  3.  
     Opening /data/hdp2-relay-bin.000001 ..
  4.  
     Opening /data/hdp2-relay-bin.000002 ..
  5.  
     Executing SET GLOBAL relay_log_purge=1; FLUSH LOGS; sleeping a few seconds so that SQL thread can delete older relay log
  6.  
     files (if it keeps up); SET GLOBAL relay_log_purge=0; .. ok.
  7.  
    2018-07-31 12:45:23: All relay log purging operations succeeded.

        添加到crontab中：

0 4 * * * /bin/bash /root/purge_relay_log.sh

（2）建立自動failover腳本
        在hdp1上建立/usr/bin/master_ip_failover文件，內容以下：

 
  1.  
    #!/usr/bin/env perl
  2.  
    use strict;
  3.  
    use warnings FATAL => 'all';
  4.  
     
  5.  
    use Getopt::Long;
  6.  
     
  7.  
    my (
  8.  
        $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
  9.  
        $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
  10.  
    );
  11.  
     
  12.  
    my $vip = '172.16.1.100';  # Virtual IP 
  13.  
    my $key = "1"; 
  14.  
    my $ssh_start_vip = "/sbin/ifconfig ens32:$key $vip";
  15.  
    my $ssh_stop_vip = "/sbin/ifconfig ens160:$key down";
  16.  
     
  17.  
    GetOptions(
  18.  
        'command=s'          => \$command,
  19.  
        'ssh_user=s'         => \$ssh_user,
  20.  
        'orig_master_host=s' => \$orig_master_host,
  21.  
        'orig_master_ip=s'   => \$orig_master_ip,
  22.  
        'orig_master_port=i' => \$orig_master_port,
  23.  
        'new_master_host=s'  => \$new_master_host,
  24.  
        'new_master_ip=s'    => \$new_master_ip,
  25.  
        'new_master_port=i'  => \$new_master_port,
  26.  
    );
  27.  
     
  28.  
    exit &main();
  29.  
     
  30.  
    sub main {
  31.  
     
  32.  
        print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n"; 
  33.  
     
  34.  
        if ( $command eq "stop" || $command eq "stopssh" ) {
  35.  
     
  36.  
            # $orig_master_host, $orig_master_ip, $orig_master_port are passed.
  37.  
            # If you manage master ip address at global catalog database,
  38.  
            # invalidate orig_master_ip here.
  39.  
            my $exit_code = 1;
  40.  
            eval {
  41.  
                print "Disabling the VIP on old master: $orig_master_host \n";
  42.  
                &stop_vip();
  43.  
                $exit_code = 0;
  44.  
            };
  45.  
            if ($@) {
  46.  
                warn "Got Error: $@\n";
  47.  
                exit $exit_code;
  48.  
            }
  49.  
            exit $exit_code;
  50.  
        }
  51.  
        elsif ( $command eq "start" ) {
  52.  
     
  53.  
            # all arguments are passed.
  54.  
            # If you manage master ip address at global catalog database,
  55.  
            # activate new_master_ip here.
  56.  
            # You can also grant write access (create user, set read_only=0, etc) here.
  57.  
            my $exit_code = 10;
  58.  
            eval {
  59.  
                print "Enabling the VIP - $vip on the new master - $new_master_host \n";
  60.  
                &start_vip();
  61.  
                $exit_code = 0;
  62.  
            };
  63.  
            if ($@) {
  64.  
                warn $@;
  65.  
                exit $exit_code;
  66.  
            }
  67.  
            exit $exit_code;
  68.  
        }
  69.  
        elsif ( $command eq "status" ) {
  70.  
            print "Checking the Status of the script.. OK \n"; 
  71.  
            `ssh $ssh_user\@$orig_master_host \" $ssh_start_vip \"`;
  72.  
            exit 0;
  73.  
        }
  74.  
        else {
  75.  
            &usage();
  76.  
            exit 1;
  77.  
        }
  78.  
    }
  79.  
     
  80.  
    # A simple system call that enable the VIP on the new master 
  81.  
    sub start_vip() {
  82.  
        `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
  83.  
    }
  84.  
    # A simple system call that disable the VIP on the old_master
  85.  
    sub stop_vip() {
  86.  
        `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
  87.  
    }
  88.  
     
  89.  
    sub usage {
  90.  
        print
  91.  
        "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
  92.  
    }

        注意腳本中VIP漂移的部分。

（3）建立手動failover腳本
        在hdp1上建立/usr/bin/master_ip_online_change文件，內容以下：

 
  1.  
    #!/usr/bin/env perl
  2.  
      
  3.  
    ## Note: This is a sample script and is notcomplete. Modify the script based on your environment.
  4.  
      
  5.  
    use strict;
  6.  
    use warnings FATAL => 'all';
  7.  
      
  8.  
    use Getopt::Long;
  9.  
    use MHA::DBHelper;
  10.  
    use MHA::NodeUtil;
  11.  
    # use Time::HiRes qw( sleep gettimeofdaytv_interval );
  12.  
    use Time::HiRes qw(sleep gettimeofday tv_interval);
  13.  
    use Data::Dumper;
  14.  
      
  15.  
    my $_tstart;
  16.  
    my $_running_interval = 0.1;
  17.  
    my (
  18.  
     $command,         $orig_master_host, $orig_master_ip,
  19.  
     $orig_master_port, $orig_master_user,
  20.  
     $new_master_host, $new_master_ip,   $new_master_port,
  21.  
     $new_master_user, 
  22.  
    );
  23.  
      
  24.  
    my $vip = '172.16.1.100';  # Virtual IP 
  25.  
    my $key = "1"; 
  26.  
    my $ssh_start_vip = "/sbin/ifconfig ens32:$key $vip";
  27.  
    my $ssh_stop_vip = "/sbin/ifconfig ens160:$key down";
  28.  
    my $ssh_user = "root";
  29.  
    my $new_master_password = "123456";
  30.  
    my $orig_master_password = "123456";
  31.  
      
  32.  
    GetOptions(
  33.  
     'command=s'              =>\$command,
  34.  
     #'ssh_user=s'             => \$ssh_user, 
  35.  
     'orig_master_host=s'     =>\$orig_master_host,
  36.  
     'orig_master_ip=s'       =>\$orig_master_ip,
  37.  
     'orig_master_port=i'     =>\$orig_master_port,
  38.  
     'orig_master_user=s'     =>\$orig_master_user,
  39.  
     #'orig_master_password=s' => \$orig_master_password,
  40.  
     'new_master_host=s'      =>\$new_master_host,
  41.  
     'new_master_ip=s'        =>\$new_master_ip,
  42.  
     'new_master_port=i'      =>\$new_master_port,
  43.  
     'new_master_user=s'      =>\$new_master_user,
  44.  
     #'new_master_password=s'  =>\$new_master_password,
  45.  
    );
  46.  
      
  47.  
    exit &main();
  48.  
      
  49.  
    sub current_time_us {
  50.  
      my ($sec, $microsec ) = gettimeofday();
  51.  
      my$curdate = localtime($sec);
  52.  
     return $curdate . " " . sprintf( "%06d", $microsec);
  53.  
    }
  54.  
      
  55.  
    sub sleep_until {
  56.  
      my$elapsed = tv_interval($_tstart);
  57.  
      if ($_running_interval > $elapsed ) {
  58.  
       sleep( $_running_interval - $elapsed );
  59.  
      }
  60.  
    }
  61.  
      
  62.  
    sub get_threads_util {
  63.  
      my$dbh                    = shift;
  64.  
      my$my_connection_id       = shift;
  65.  
      my$running_time_threshold = shift;
  66.  
      my$type                   = shift;
  67.  
     $running_time_threshold = 0 unless ($running_time_threshold);
  68.  
     $type                   = 0 unless($type);
  69.  
      my@threads;
  70.  
      
  71.  
      my$sth = $dbh->prepare("SHOW PROCESSLIST");
  72.  
     $sth->execute();
  73.  
      
  74.  
     while ( my $ref = $sth->fetchrow_hashref() ) {
  75.  
        my$id         = $ref->{Id};
  76.  
        my$user       = $ref->{User};
  77.  
        my$host       = $ref->{Host};
  78.  
        my$command    = $ref->{Command};
  79.  
        my$state      = $ref->{State};
  80.  
        my$query_time = $ref->{Time};
  81.  
        my$info       = $ref->{Info};
  82.  
       $info =~ s/^\s*(.*?)\s*$/$1/ if defined($info);
  83.  
       next if ( $my_connection_id == $id );
  84.  
       next if ( defined($query_time) && $query_time <$running_time_threshold );
  85.  
       next if ( defined($command)   && $command eq "Binlog Dump" );
  86.  
       next if ( defined($user)      && $user eq "system user" );
  87.  
       next
  88.  
         if ( defined($command)
  89.  
         && $command eq "Sleep"
  90.  
         && defined($query_time)
  91.  
         && $query_time >= 1 );
  92.  
      
  93.  
        if( $type >= 1 ) {
  94.  
         next if ( defined($command) && $command eq "Sleep" );
  95.  
          nextif ( defined($command) && $command eq "Connect" );
  96.  
        }
  97.  
      
  98.  
        if( $type >= 2 ) {
  99.  
         next if ( defined($info) && $info =~ m/^select/i );
  100.  
         next if ( defined($info) && $info =~ m/^show/i );
  101.  
        }
  102.  
      
  103.  
       push @threads, $ref;
  104.  
      }
  105.  
     return @threads;
  106.  
    }
  107.  
      
  108.  
    sub main {
  109.  
      if ($command eq "stop" ) {
  110.  
        ##Gracefully killing connections on the current master
  111.  
        #1. Set read_only= 1 on the new master
  112.  
        #2. DROP USER so that no app user can establish new connections
  113.  
        #3. Set read_only= 1 on the current master
  114.  
        #4. Kill current queries
  115.  
        #* Any database access failure will result in script die.
  116.  
        my$exit_code = 1;
  117.  
       eval {
  118.  
         ## Setting read_only=1 on the new master (to avoid accident)
  119.  
         my $new_master_handler = new MHA::DBHelper();
  120.  
      
  121.  
         # args: hostname, port, user, password, raise_error(die_on_error)_or_not
  122.  
         $new_master_handler->connect( $new_master_ip, $new_master_port,
  123.  
           $new_master_user, $new_master_password, 1 );
  124.  
         print current_time_us() . " Set read_only on the new master..";
  125.  
         $new_master_handler->enable_read_only();
  126.  
         if ( $new_master_handler->is_read_only() ) {
  127.  
           print "ok.\n";
  128.  
         }
  129.  
         else {
  130.  
           die "Failed!\n";
  131.  
         }
  132.  
         $new_master_handler->disconnect();
  133.  
      
  134.  
         # Connecting to the orig master, die if any database error happens
  135.  
         my $orig_master_handler = new MHA::DBHelper();
  136.  
         $orig_master_handler->connect( $orig_master_ip, $orig_master_port,
  137.  
           $orig_master_user, $orig_master_password, 1 );
  138.  
      
  139.  
          ## Drop application user so that nobodycan connect. Disabling per-session binlog beforehand
  140.  
         #$orig_master_handler->disable_log_bin_local();
  141.  
         #print current_time_us() . " Drpping app user on the origmaster..\n";
  142.  
         #FIXME_xxx_drop_app_user($orig_master_handler);
  143.  
      
  144.  
         ## Waiting for N * 100 milliseconds so that current connections can exit
  145.  
         my $time_until_read_only = 15;
  146.  
         $_tstart = [gettimeofday];
  147.  
         my @threads = get_threads_util( $orig_master_handler->{dbh},
  148.  
           $orig_master_handler->{connection_id} );
  149.  
         while ( $time_until_read_only > 0 && $#threads >= 0 ) {
  150.  
           if ( $time_until_read_only % 5 == 0 ) {
  151.  
             printf "%s Waiting all running %d threads aredisconnected.. (max %d milliseconds)\n",
  152.  
               current_time_us(), $#threads + 1, $time_until_read_only * 100;
  153.  
             if ( $#threads < 5 ) {
  154.  
               print Data::Dumper->new( [$_] )->Indent(0)->Terse(1)->Dump ."\n"
  155.  
                 foreach (@threads);
  156.  
             }
  157.  
           }
  158.  
           sleep_until();
  159.  
           $_tstart = [gettimeofday];
  160.  
           $time_until_read_only--;
  161.  
           @threads = get_threads_util( $orig_master_handler->{dbh},
  162.  
             $orig_master_handler->{connection_id} );
  163.  
         }
  164.  
      
  165.  
         ## Setting read_only=1 on the current master so that nobody(exceptSUPER) can write
  166.  
         print current_time_us() . " Set read_only=1 on the orig master..";
  167.  
         $orig_master_handler->enable_read_only();
  168.  
         if ( $orig_master_handler->is_read_only() ) {
  169.  
           print "ok.\n";
  170.  
         }
  171.  
         else {
  172.  
           die "Failed!\n";
  173.  
         }
  174.  
      
  175.  
         ## Waiting for M * 100 milliseconds so that current update queries cancomplete
  176.  
         my $time_until_kill_threads = 5;
  177.  
         @threads = get_threads_util( $orig_master_handler->{dbh},
  178.  
           $orig_master_handler->{connection_id} );
  179.  
         while ( $time_until_kill_threads > 0 && $#threads >= 0 ) {
  180.  
           if ( $time_until_kill_threads % 5 == 0 ) {
  181.  
             printf "%s Waiting all running %d queries aredisconnected.. (max %d milliseconds)\n",
  182.  
               current_time_us(), $#threads + 1, $time_until_kill_threads * 100;
  183.  
             if ( $#threads < 5 ) {
  184.  
               print Data::Dumper->new( [$_] )->Indent(0)->Terse(1)->Dump ."\n"
  185.  
                 foreach (@threads);
  186.  
             }
  187.  
           }
  188.  
           sleep_until();
  189.  
           $_tstart = [gettimeofday];
  190.  
           $time_until_kill_threads--;
  191.  
           @threads = get_threads_util( $orig_master_handler->{dbh},
  192.  
             $orig_master_handler->{connection_id} );
  193.  
         }
  194.  
      
  195.  
                    print "Disabling the VIPon old master: $orig_master_host \n";
  196.  
                    &stop_vip();    
  197.  
      
  198.  
         ## Terminating all threads
  199.  
         print current_time_us() . " Killing all applicationthreads..\n";
  200.  
         $orig_master_handler->kill_threads(@threads) if ( $#threads >= 0);
  201.  
         print current_time_us() . " done.\n";
  202.  
         #$orig_master_handler->enable_log_bin_local();
  203.  
         $orig_master_handler->disconnect();
  204.  
      
  205.  
         ## After finishing the script, MHA executes FLUSH TABLES WITH READ LOCK
  206.  
         $exit_code = 0;
  207.  
        };
  208.  
        if($@) {
  209.  
         warn "Got Error: $@\n";
  210.  
         exit $exit_code;
  211.  
        }
  212.  
       exit $exit_code;
  213.  
      }
  214.  
     elsif ( $command eq "start" ) {
  215.  
        ##Activating master ip on the new master
  216.  
        #1. Create app user with write privileges
  217.  
        #2. Moving backup script if needed
  218.  
        #3. Register new master's ip to the catalog database
  219.  
      
  220.  
    # We don't return error even thoughactivating updatable accounts/ip failed so that we don't interrupt slaves'recovery.
  221.  
    # If exit code is 0 or 10, MHA does notabort
  222.  
        my$exit_code = 10;
  223.  
        eval{
  224.  
         my $new_master_handler = new MHA::DBHelper();
  225.  
      
  226.  
         # args: hostname, port, user, password, raise_error_or_not
  227.  
         $new_master_handler->connect( $new_master_ip, $new_master_port,
  228.  
           $new_master_user, $new_master_password, 1 );
  229.  
      
  230.  
         ## Set read_only=0 on the new master
  231.  
         #$new_master_handler->disable_log_bin_local();
  232.  
         print current_time_us() . " Set read_only=0 on the newmaster.\n";
  233.  
         $new_master_handler->disable_read_only();
  234.  
      
  235.  
         ## Creating an app user on the new master
  236.  
         #print current_time_us() . " Creating app user on the newmaster..\n";
  237.  
         #FIXME_xxx_create_app_user($new_master_handler);
  238.  
         #$new_master_handler->enable_log_bin_local();
  239.  
         $new_master_handler->disconnect();
  240.  
      
  241.  
         ## Update master ip on the catalog database, etc
  242.  
                    print "Enabling the VIP -$vip on the new master - $new_master_host \n";
  243.  
                    &start_vip();
  244.  
                    $exit_code = 0;
  245.  
        };
  246.  
        if($@) {
  247.  
         warn "Got Error: $@\n";
  248.  
         exit $exit_code;
  249.  
        }
  250.  
       exit $exit_code;
  251.  
      }
  252.  
     elsif ( $command eq "status" ) {
  253.  
      
  254.  
        #do nothing
  255.  
       exit 0;
  256.  
      }
  257.  
      else{
  258.  
       &usage();
  259.  
       exit 1;
  260.  
      }
  261.  
    }
  262.  
      
  263.  
    # A simple system call that enable the VIPon the new master
  264.  
    sub start_vip() {
  265.  
       `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
  266.  
    }
  267.  
    # A simple system call that disable the VIPon the old_master
  268.  
    sub stop_vip() {
  269.  
       `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
  270.  
    }
  271.  
      
  272.  
    sub usage {
  273.  
     print
  274.  
    "Usage: master_ip_online_change --command=start|stop|status--orig_master_host=host --orig_master_ip=ip --orig_master_port=port--new_master_host=host --new_master_ip=ip --new_master_port=port\n";
  275.  
      die;
  276.  
    }

        注意腳本中VIP漂移的部分。

4、檢查MHA配置

1. 檢查SSH配置

        在hdp1上用root用戶操做。

 
  1.  
    [root@hdp1~]#masterha_check_ssh --conf=/etc/masterha/app1.cnf
  2.  
    Tue Jul 31 12:50:22 2018 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
  3.  
    Tue Jul 31 12:50:22 2018 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
  4.  
    Tue Jul 31 12:50:22 2018 - [info] Reading server configuration from /etc/masterha/app1.cnf..
  5.  
    Tue Jul 31 12:50:22 2018 - [info] Starting SSH connection tests..
  6.  
    Tue Jul 31 12:50:23 2018 - [debug] 
  7.  
    Tue Jul 31 12:50:22 2018 - [debug]  Connecting via SSH from root@172.16.1.127(172.16.1.127:22) to root@172.16.1.126(172.16.1.126:22)..
  8.  
    Tue Jul 31 12:50:22 2018 - [debug]   ok.
  9.  
    Tue Jul 31 12:50:22 2018 - [debug]  Connecting via SSH from root@172.16.1.127(172.16.1.127:22) to root@172.16.1.125(172.16.1.125:22)..
  10.  
    Tue Jul 31 12:50:23 2018 - [debug]   ok.
  11.  
    Tue Jul 31 12:50:24 2018 - [debug] 
  12.  
    Tue Jul 31 12:50:23 2018 - [debug]  Connecting via SSH from root@172.16.1.126(172.16.1.126:22) to root@172.16.1.127(172.16.1.127:22)..
  13.  
    Tue Jul 31 12:50:23 2018 - [debug]   ok.
  14.  
    Tue Jul 31 12:50:23 2018 - [debug]  Connecting via SSH from root@172.16.1.126(172.16.1.126:22) to root@172.16.1.125(172.16.1.125:22)..
  15.  
    Tue Jul 31 12:50:23 2018 - [debug]   ok.
  16.  
    Tue Jul 31 12:50:25 2018 - [debug] 
  17.  
    Tue Jul 31 12:50:23 2018 - [debug]  Connecting via SSH from root@172.16.1.125(172.16.1.125:22) to root@172.16.1.127(172.16.1.127:22)..
  18.  
    Tue Jul 31 12:50:23 2018 - [debug]   ok.
  19.  
    Tue Jul 31 12:50:23 2018 - [debug]  Connecting via SSH from root@172.16.1.125(172.16.1.125:22) to root@172.16.1.126(172.16.1.126:22)..
  20.  
    Tue Jul 31 12:50:24 2018 - [debug]   ok.
  21.  
    Tue Jul 31 12:50:25 2018 - [info] All SSH connection tests passed successfully.
  22.  
    [root@hdp1~]#

        能夠看到各個節點ssh驗證都是ok的。

2. 檢查整個複製環境情況

        在hdp1上用root用戶操做。

 
  1.  
    [root@hdp1~]#masterha_check_repl --conf=/etc/masterha/app1.cnf
  2.  
    Tue Jul 31 12:52:19 2018 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
  3.  
    Tue Jul 31 12:52:19 2018 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
  4.  
    Tue Jul 31 12:52:19 2018 - [info] Reading server configuration from /etc/masterha/app1.cnf..
  5.  
    Tue Jul 31 12:52:19 2018 - [info] MHA::MasterMonitor version 0.56.
  6.  
    Tue Jul 31 12:52:21 2018 - [info] GTID failover mode = 0
  7.  
    Tue Jul 31 12:52:21 2018 - [info] Dead Servers:
  8.  
    Tue Jul 31 12:52:21 2018 - [info] Alive Servers:
  9.  
    Tue Jul 31 12:52:21 2018 - [info]   172.16.1.127(172.16.1.127:3306)
  10.  
    Tue Jul 31 12:52:21 2018 - [info]   172.16.1.126(172.16.1.126:3306)
  11.  
    Tue Jul 31 12:52:21 2018 - [info]   172.16.1.125(172.16.1.125:3306)
  12.  
    Tue Jul 31 12:52:21 2018 - [info] Alive Slaves:
  13.  
    Tue Jul 31 12:52:21 2018 - [info]   172.16.1.126(172.16.1.126:3306)  Version=5.6.14-log (oldest major version between slaves) log-bin:enabled
  14.  
    Tue Jul 31 12:52:21 2018 - [info]     Replicating from 172.16.1.127(172.16.1.127:3306)
  15.  
    Tue Jul 31 12:52:21 2018 - [info]     Primary candidate for the new Master (candidate_master is set)
  16.  
    Tue Jul 31 12:52:21 2018 - [info]   172.16.1.125(172.16.1.125:3306)  Version=5.6.14-log (oldest major version between slaves) log-bin:enabled
  17.  
    Tue Jul 31 12:52:21 2018 - [info]     Replicating from 172.16.1.127(172.16.1.127:3306)
  18.  
    Tue Jul 31 12:52:21 2018 - [info] Current Alive Master: 172.16.1.127(172.16.1.127:3306)
  19.  
    Tue Jul 31 12:52:21 2018 - [info] Checking slave configurations..
  20.  
    Tue Jul 31 12:52:21 2018 - [info]  read_only=1 is not set on slave 172.16.1.126(172.16.1.126:3306).
  21.  
    Tue Jul 31 12:52:21 2018 - [info] Checking replication filtering settings..
  22.  
    Tue Jul 31 12:52:21 2018 - [info]  binlog_do_db= , binlog_ignore_db= 
  23.  
    Tue Jul 31 12:52:21 2018 - [info]  Replication filtering check ok.
  24.  
    Tue Jul 31 12:52:21 2018 - [info] GTID (with auto-pos) is not supported
  25.  
    Tue Jul 31 12:52:21 2018 - [info] Starting SSH connection tests..
  26.  
    Tue Jul 31 12:52:23 2018 - [info] All SSH connection tests passed successfully.
  27.  
    Tue Jul 31 12:52:23 2018 - [info] Checking MHA Node version..
  28.  
    Tue Jul 31 12:52:24 2018 - [info]  Version check ok.
  29.  
    Tue Jul 31 12:52:24 2018 - [info] Checking SSH publickey authentication settings on the current master..
  30.  
    Tue Jul 31 12:52:24 2018 - [info] HealthCheck: SSH to 172.16.1.127 is reachable.
  31.  
    Tue Jul 31 12:52:24 2018 - [info] Master MHA Node version is 0.56.
  32.  
    Tue Jul 31 12:52:24 2018 - [info] Checking recovery script configurations on 172.16.1.127(172.16.1.127:3306)..
  33.  
    Tue Jul 31 12:52:24 2018 - [info]   Executing command: save_binary_logs --command=test --start_pos=4 --binlog_dir=/data --output_file=/tmp/save_binary_logs_test --manager_version=0.56 --start_file=mysql-bin.000001 
  34.  
    Tue Jul 31 12:52:24 2018 - [info]   Connecting to root@172.16.1.127(172.16.1.127:22).. 
  35.  
      Creating /tmp if not exists..    ok.
  36.  
      Checking output directory is accessible or not..
  37.  
       ok.
  38.  
      Binlog found at /data, up to mysql-bin.000001
  39.  
    Tue Jul 31 12:52:25 2018 - [info] Binlog setting check done.
  40.  
    Tue Jul 31 12:52:25 2018 - [info] Checking SSH publickey authentication and checking recovery script configurations on all alive slave servers..
  41.  
    Tue Jul 31 12:52:25 2018 - [info]   Executing command : apply_diff_relay_logs --command=test --slave_user='root' --slave_host=172.16.1.126 --slave_ip=172.16.1.126 --slave_port=3306 --workdir=/tmp --target_version=5.6.14-log --manager_version=0.56 --relay_log_info=/data/relay-log.info  --relay_dir=/data/  --slave_pass=xxx
  42.  
    Tue Jul 31 12:52:25 2018 - [info]   Connecting to root@172.16.1.126(172.16.1.126:22).. 
  43.  
      Checking slave recovery environment settings..
  44.  
        Opening /data/relay-log.info ... ok.
  45.  
        Relay log found at /data, up to hdp3-relay-bin.000003
  46.  
        Temporary relay log file is /data/hdp3-relay-bin.000003
  47.  
        Testing mysql connection and privileges..Warning: Using a password on the command line interface can be insecure.
  48.  
     done.
  49.  
        Testing mysqlbinlog output.. done.
  50.  
        Cleaning up test file(s).. done.
  51.  
    Tue Jul 31 12:52:25 2018 - [info]   Executing command : apply_diff_relay_logs --command=test --slave_user='root' --slave_host=172.16.1.125 --slave_ip=172.16.1.125 --slave_port=3306 --workdir=/tmp --target_version=5.6.14-log --manager_version=0.56 --relay_log_info=/data/relay-log.info  --relay_dir=/data/  --slave_pass=xxx
  52.  
    Tue Jul 31 12:52:25 2018 - [info]   Connecting to root@172.16.1.125(172.16.1.125:22).. 
  53.  
      Checking slave recovery environment settings..
  54.  
        Opening /data/relay-log.info ... ok.
  55.  
        Relay log found at /data, up to hdp2-relay-bin.000003
  56.  
        Temporary relay log file is /data/hdp2-relay-bin.000003
  57.  
        Testing mysql connection and privileges..Warning: Using a password on the command line interface can be insecure.
  58.  
     done.
  59.  
        Testing mysqlbinlog output.. done.
  60.  
        Cleaning up test file(s).. done.
  61.  
    Tue Jul 31 12:52:25 2018 - [info] Slaves settings check done.
  62.  
    Tue Jul 31 12:52:25 2018 - [info] 
  63.  
    172.16.1.127(172.16.1.127:3306) (current master)
  64.  
     +--172.16.1.126(172.16.1.126:3306)
  65.  
     +--172.16.1.125(172.16.1.125:3306)
  66.  
     
  67.  
    Tue Jul 31 12:52:25 2018 - [info] Checking replication health on 172.16.1.126..
  68.  
    Tue Jul 31 12:52:25 2018 - [info]  ok.
  69.  
    Tue Jul 31 12:52:25 2018 - [info] Checking replication health on 172.16.1.125..
  70.  
    Tue Jul 31 12:52:25 2018 - [info]  ok.
  71.  
    Tue Jul 31 12:52:25 2018 - [info] Checking master_ip_failover_script status:
  72.  
    Tue Jul 31 12:52:25 2018 - [info]   /usr/bin/master_ip_failover --command=status --ssh_user=root --orig_master_host=172.16.1.127 --orig_master_ip=172.16.1.127 --orig_master_port=3306 
  73.  
     
  74.  
     
  75.  
    IN SCRIPT TEST====/sbin/ifconfig ens160:1 down==/sbin/ifconfig ens32:1 172.16.1.100===
  76.  
     
  77.  
    Checking the Status of the script.. OK 
  78.  
    SIOCSIFADDR: No such device
  79.  
    ens32:1: ERROR while getting interface flags: No such device
  80.  
    Tue Jul 31 12:52:25 2018 - [info]  OK.
  81.  
    Tue Jul 31 12:52:25 2018 - [warning] shutdown_script is not defined.
  82.  
    Tue Jul 31 12:52:25 2018 - [info] Got exit code 0 (Not master dead).
  83.  
     
  84.  
    MySQL Replication Health is OK.

        沒有明顯報錯，只有幾個警告而已，複製顯示正常。

3. 檢查MHA Manager的狀態

        在hdp1上用root用戶操做。

 
  1.  
    [root@hdp1~]#masterha_check_status --conf=/etc/masterha/app1.cnf
  2.  
    app1 is stopped(2:NOT_RUNNING).
  3.  
    [root@hdp1~]#

        顯示"NOT_RUNNING"，這表明MHA監控沒有開啓。執行下面的命令後臺啓動MHA。

 
  1.  
    mkdir -p  /var/log/masterha/app1/
  2.  
    nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

        啓動參數說明：

  • remove_dead_master_conf：該參數表明當發生主從切換後，老的主庫的ip將會從配置文件中移除。
  • manger_log：日誌存放位置。
  • ignore_last_failover：在缺省狀況下，若是MHA檢測到連續發生宕機，且兩次宕機間隔不足8小時的話，則不會進行Failover，之因此這樣限制是爲了不ping-pong效應。該參數表明忽略上次MHA觸發切換產生的文件，默認狀況下，MHA發生切換後會在日誌目錄，也就是上面設置的/data產生app1.failover.complete文件，下次再次切換的時候若是發現該目錄下存在該文件將不容許觸發切換，除非在第一次切換後收到刪除該文件。爲了方便，這裏設置爲--ignore_last_failover。

        再次檢查MHA Manager的狀態：

 
  1.  
    [root@hdp1~]#masterha_check_status --conf=/etc/masterha/app1.cnf
  2.  
    app1 (pid:298237) is running(0:PING_OK), master:172.16.1.127
  3.  
    [root@hdp1~]#

        能夠看見已經在監控了，並且master的主機爲172.16.1.127。

4. 查看啓動日誌

        在hdp1上用root用戶操做。

 
  1.  
    [root@hdp1~]#tail -n20 /var/log/masterha/app1/manager.log
  2.  
    Tue Jul 31 12:57:06 2018 - [info] 
  3.  
    172.16.1.127(172.16.1.127:3306) (current master)
  4.  
     +--172.16.1.126(172.16.1.126:3306)
  5.  
     +--172.16.1.125(172.16.1.125:3306)
  6.  
     
  7.  
    Tue Jul 31 12:57:06 2018 - [info] Checking master_ip_failover_script status:
  8.  
    Tue Jul 31 12:57:06 2018 - [info]   /usr/bin/master_ip_failover --command=status --ssh_user=root --orig_master_host=172.16.1.127 --orig_master_ip=172.16.1.127 --orig_master_port=3306 
  9.  
     
  10.  
     
  11.  
    IN SCRIPT TEST====/sbin/ifconfig ens160:1 down==/sbin/ifconfig ens32:1 172.16.1.100===
  12.  
     
  13.  
    Checking the Status of the script.. OK 
  14.  
    SIOCSIFADDR: No such device
  15.  
    ens32:1: ERROR while getting interface flags: No such device
  16.  
    Tue Jul 31 12:57:06 2018 - [info]  OK.
  17.  
    Tue Jul 31 12:57:06 2018 - [warning] shutdown_script is not defined.
  18.  
    Tue Jul 31 12:57:06 2018 - [info] Set master ping interval 1 seconds.
  19.  
    Tue Jul 31 12:57:06 2018 - [info] Set secondary check script: /usr/bin/masterha_secondary_check -s hdp4 -s hdp3 --user=root --master_host=hdp4 --master_ip=172.16.1.127 --master_port=3306
  20.  
    Tue Jul 31 12:57:06 2018 - [info] Starting ping health check on 172.16.1.127(172.16.1.127:3306)..
  21.  
    Tue Jul 31 12:57:06 2018 - [info] Ping(SELECT) succeeded, waiting until MySQL doesn't respond..
  22.  
    [root@hdp1~]#

5、功能測試

1. 初始綁定VIP

        在hdp4 172.16.1.127（master）上用root用戶執行：

/sbin/ifconfig ens160:1 172.16.1.100/24

        查看VIP：

 
  1.  
    [root@hdp4~]#ip a
  2.  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
  3.  
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4.  
        inet 127.0.0.1/8 scope host lo
  5.  
           valid_lft forever preferred_lft forever
  6.  
        inet6 ::1/128 scope host 
  7.  
           valid_lft forever preferred_lft forever
  8.  
    2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
  9.  
        link/ether 00:50:56:a5:49:7f brd ff:ff:ff:ff:ff:ff
  10.  
        inet 172.16.1.127/24 brd 172.16.1.255 scope global ens160
  11.  
           valid_lft forever preferred_lft forever
  12.  
        inet 172.16.1.100/16 brd 172.16.255.255 scope global ens160:1
  13.  
           valid_lft forever preferred_lft forever
  14.  
        inet6 fe80::250:56ff:fea5:497f/64 scope link 
  15.  
           valid_lft forever preferred_lft forever
  16.  
    [root@hdp4~]#

2. 測試自動切換

（1）在slave1庫（172.16.1.126）上停掉slave IO線程，模擬主從延時：

mysql -uroot -p123456 -e "stop slave io_thread;"

（2）在master庫（172.16.1.127）安裝sysbench，進行sysbench數據生成，在sbtest庫下生成sbtest表，共10W記錄。

 
  1.  
    # 用root用戶安裝sysbench
  2.  
    yum install sysbench -y
  3.  
     
  4.  
    # 用mysql用戶創建sbtest 數據庫
  5.  
    mysql -uroot -p123456 -e "create database sbtest;"
  6.  
     
  7.  
    # 用mysql用戶執行sysbench生成數據
  8.  
    sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=10000 --threads=10 --time=120 --report-interval=10 --db-driver=mysql prepare

（3）用root用戶中止master的mysql服務。

service mysql stop

（4）驗證VIP漂移。
        在hdp3上用root用戶操做。

 
  1.  
    [root@hdp3~]#ip a
  2.  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
  3.  
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4.  
        inet 127.0.0.1/8 scope host lo
  5.  
           valid_lft forever preferred_lft forever
  6.  
        inet6 ::1/128 scope host 
  7.  
           valid_lft forever preferred_lft forever
  8.  
    2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
  9.  
        link/ether 00:50:56:a5:0f:77 brd ff:ff:ff:ff:ff:ff
  10.  
        inet 172.16.1.126/24 brd 172.16.1.255 scope global ens32
  11.  
           valid_lft forever preferred_lft forever
  12.  
        inet 172.16.1.100/16 brd 172.16.255.255 scope global ens32:1
  13.  
           valid_lft forever preferred_lft forever
  14.  
        inet6 fe80::250:56ff:fea5:f77/64 scope link 
  15.  
           valid_lft forever preferred_lft forever
  16.  
    [root@hdp3~]#

        在hdp4上用root用戶操做。

 
  1.  
    [root@hdp4~]#ip a
  2.  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
  3.  
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4.  
        inet 127.0.0.1/8 scope host lo
  5.  
           valid_lft forever preferred_lft forever
  6.  
        inet6 ::1/128 scope host 
  7.  
           valid_lft forever preferred_lft forever
  8.  
    2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
  9.  
        link/ether 00:50:56:a5:49:7f brd ff:ff:ff:ff:ff:ff
  10.  
        inet 172.16.1.127/24 brd 172.16.1.255 scope global ens160
  11.  
           valid_lft forever preferred_lft forever
  12.  
        inet6 fe80::250:56ff:fea5:497f/64 scope link 
  13.  
           valid_lft forever preferred_lft forever
  14.  
    [root@hdp4~]#

        能夠看到VIP已經從hdp4 172.16.1.127（master）漂移到了hdp3 172.16.1.126（slave1）。

（5）客戶端用VIP訪問數據庫

 
  1.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.100 -e "show databases; use sbtest; show tables; select count(*) from sbtest1; select count(*) from sbtest10;"
  2.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  3.  
    +--------------------+
  4.  
    | Database           |
  5.  
    +--------------------+
  6.  
    | information_schema |
  7.  
    | mysql              |
  8.  
    | performance_schema |
  9.  
    | sbtest             |
  10.  
    | source             |
  11.  
    | test               |
  12.  
    +--------------------+
  13.  
    +------------------+
  14.  
    | Tables_in_sbtest |
  15.  
    +------------------+
  16.  
    | sbtest1          |
  17.  
    | sbtest10         |
  18.  
    | sbtest2          |
  19.  
    | sbtest3          |
  20.  
    | sbtest4          |
  21.  
    | sbtest5          |
  22.  
    | sbtest6          |
  23.  
    | sbtest7          |
  24.  
    | sbtest8          |
  25.  
    | sbtest9          |
  26.  
    +------------------+
  27.  
    +----------+
  28.  
    | count(*) |
  29.  
    +----------+
  30.  
    |    10000 |
  31.  
    +----------+
  32.  
    +----------+
  33.  
    | count(*) |
  34.  
    +----------+
  35.  
    |    10000 |
  36.  
    +----------+
  37.  
     
  38.  
    C:\WINDOWS\system32>

        在還沒建立sbtest庫的時候，172.16.1.126就停了slave sql線程。在新的Master 172.16.1.126上查看數據，能夠看到落後的數據也同步過來了，數據沒有丟失。

（6）查看複製的主從切換

 
  1.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.125 -e "show slave status\G"
  2.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  3.  
    *************************** 1. row ***************************
  4.  
                   Slave_IO_State: Waiting for master to send event
  5.  
                      Master_Host: 172.16.1.126
  6.  
                      Master_User: repl
  7.  
                      Master_Port: 3306
  8.  
                    Connect_Retry: 60
  9.  
                  Master_Log_File: mysql-bin.000001
  10.  
              Read_Master_Log_Pos: 19093607
  11.  
                   Relay_Log_File: hdp2-relay-bin.000002
  12.  
                    Relay_Log_Pos: 283
  13.  
            Relay_Master_Log_File: mysql-bin.000001
  14.  
                 Slave_IO_Running: Yes
  15.  
                Slave_SQL_Running: Yes
  16.  
                  Replicate_Do_DB:
  17.  
              Replicate_Ignore_DB:
  18.  
               Replicate_Do_Table:
  19.  
           Replicate_Ignore_Table:
  20.  
          Replicate_Wild_Do_Table:
  21.  
      Replicate_Wild_Ignore_Table:
  22.  
                       Last_Errno: 0
  23.  
                       Last_Error:
  24.  
                     Skip_Counter: 0
  25.  
              Exec_Master_Log_Pos: 19093607
  26.  
                  Relay_Log_Space: 455
  27.  
                  Until_Condition: None
  28.  
                   Until_Log_File:
  29.  
                    Until_Log_Pos: 0
  30.  
               Master_SSL_Allowed: No
  31.  
               Master_SSL_CA_File:
  32.  
               Master_SSL_CA_Path:
  33.  
                  Master_SSL_Cert:
  34.  
                Master_SSL_Cipher:
  35.  
                   Master_SSL_Key:
  36.  
            Seconds_Behind_Master: 0
  37.  
    Master_SSL_Verify_Server_Cert: No
  38.  
                    Last_IO_Errno: 0
  39.  
                    Last_IO_Error:
  40.  
                   Last_SQL_Errno: 0
  41.  
                   Last_SQL_Error:
  42.  
      Replicate_Ignore_Server_Ids:
  43.  
                 Master_Server_Id: 126
  44.  
                      Master_UUID: fadd5b7d-7d9f-11e8-90b4-13ccc7802b56
  45.  
                 Master_Info_File: /data/master.info
  46.  
                        SQL_Delay: 0
  47.  
              SQL_Remaining_Delay: NULL
  48.  
          Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
  49.  
               Master_Retry_Count: 86400
  50.  
                      Master_Bind:
  51.  
          Last_IO_Error_Timestamp:
  52.  
         Last_SQL_Error_Timestamp:
  53.  
                   Master_SSL_Crl:
  54.  
               Master_SSL_Crlpath:
  55.  
               Retrieved_Gtid_Set:
  56.  
                Executed_Gtid_Set:
  57.  
                    Auto_Position: 0
  58.  
     
  59.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.126 -e "show slave status\G"
  60.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  61.  
     
  62.  
    C:\WINDOWS\system32>

        能夠看到，172.16.1.126稱爲新的master，而172.16.1.125也指向了這個新的master。

（7）檢查MHA Manager的狀態
        在hdp1上用root用戶執行下面的操做。

 
  1.  
    [root@hdp1~]#masterha_check_status --conf=/etc/masterha/app1.cnf
  2.  
    app1 is stopped(2:NOT_RUNNING).
  3.  
    [1]+  Done                    nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1
  4.  
    [root@hdp1~]#

        發如今執行了一次自動failover後，MHA Manager進程中止了。官網上對這種狀況的解釋以下：

        意思是安裝一個進程工具，經過該工具結合腳原本管理進程。

3. 測試手工切換

        首先要還原環境。

        還原數據庫複製：

 
  1.  
    -- 在hdp四、hdp三、hdp2上重置master、slave
  2.  
    stop slave;
  3.  
    drop database sbtest;
  4.  
    reset master;
  5.  
    reset slave all;
  6.  
     
  7.  
    -- 在hdp三、hdp2上從新指向hdp4爲master
  8.  
    change master to
  9.  
    master_host='172.16.1.127',
  10.  
    master_port=3306,
  11.  
    master_user='repl',
  12.  
    master_password='123456',
  13.  
    master_log_file='mysql-bin.000001',
  14.  
    master_log_pos=120;
  15.  
     
  16.  
    start slave;
  17.  
    show slave status\G

        還原VIP綁定：

 
  1.  
    # 在hdp3上用root用戶執行
  2.  
    /sbin/ifconfig ens32:1 down
  3.  
     
  4.  
    # 在hdp4上用root用戶執行
  5.  
    /sbin/ifconfig ens160:1 172.16.1.100

        還原配置文件：
        編輯在hdp1上/etc/masterha/app1.cnf，將[server1]段添加回去。

        啓動MHA Manage：

 
  1.  
    # 在hdp1上用root用戶執行
  2.  
    nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

        至此環境還原完畢，能夠開始測試手工切換。當主服務器故障時，人工手動調用MHA來進行故障切換操做，步驟以下。
（1）中止MHA Manage
        在hdp1上用root用戶操做。

masterha_stop --conf=/etc/masterha/app1.cnf

（2）關閉master
        在hdp4上用root用戶操做。

service mysql stop

（3）執行手工切換
        在hdp1上用root用戶操做。

masterha_master_switch --master_state=dead --conf=/etc/masterha/app1.cnf --dead_master_host=172.16.1.127 --dead_master_port=3306 --new_master_host=172.16.1.126 --new_master_port=3306 --ignore_last_failover

（4）驗證VIP漂移到172.16.1.126

 
  1.  
    [root@hdp3~]#ip a
  2.  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
  3.  
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4.  
        inet 127.0.0.1/8 scope host lo
  5.  
           valid_lft forever preferred_lft forever
  6.  
        inet6 ::1/128 scope host 
  7.  
           valid_lft forever preferred_lft forever
  8.  
    2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
  9.  
        link/ether 00:50:56:a5:0f:77 brd ff:ff:ff:ff:ff:ff
  10.  
        inet 172.16.1.126/24 brd 172.16.1.255 scope global ens32
  11.  
           valid_lft forever preferred_lft forever
  12.  
        inet 172.16.1.100/16 brd 172.16.255.255 scope global ens32:1
  13.  
           valid_lft forever preferred_lft forever
  14.  
        inet6 fe80::250:56ff:fea5:f77/64 scope link 
  15.  
           valid_lft forever preferred_lft forever
  16.  
    [root@hdp3~]#

（5）驗證複製關係

 
  1.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.125 -e "show slave status\G"
  2.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  3.  
    *************************** 1. row ***************************
  4.  
                   Slave_IO_State: Waiting for master to send event
  5.  
                      Master_Host: 172.16.1.126
  6.  
                      Master_User: repl
  7.  
                      Master_Port: 3306
  8.  
                    Connect_Retry: 60
  9.  
                  Master_Log_File: mysql-bin.000001
  10.  
              Read_Master_Log_Pos: 120
  11.  
                   Relay_Log_File: hdp2-relay-bin.000002
  12.  
                    Relay_Log_Pos: 283
  13.  
            Relay_Master_Log_File: mysql-bin.000001
  14.  
                 Slave_IO_Running: Yes
  15.  
                Slave_SQL_Running: Yes
  16.  
                  Replicate_Do_DB:
  17.  
              Replicate_Ignore_DB:
  18.  
               Replicate_Do_Table:
  19.  
           Replicate_Ignore_Table:
  20.  
          Replicate_Wild_Do_Table:
  21.  
      Replicate_Wild_Ignore_Table:
  22.  
                       Last_Errno: 0
  23.  
                       Last_Error:
  24.  
                     Skip_Counter: 0
  25.  
              Exec_Master_Log_Pos: 120
  26.  
                  Relay_Log_Space: 455
  27.  
                  Until_Condition: None
  28.  
                   Until_Log_File:
  29.  
                    Until_Log_Pos: 0
  30.  
               Master_SSL_Allowed: No
  31.  
               Master_SSL_CA_File:
  32.  
               Master_SSL_CA_Path:
  33.  
                  Master_SSL_Cert:
  34.  
                Master_SSL_Cipher:
  35.  
                   Master_SSL_Key:
  36.  
            Seconds_Behind_Master: 0
  37.  
    Master_SSL_Verify_Server_Cert: No
  38.  
                    Last_IO_Errno: 0
  39.  
                    Last_IO_Error:
  40.  
                   Last_SQL_Errno: 0
  41.  
                   Last_SQL_Error:
  42.  
      Replicate_Ignore_Server_Ids:
  43.  
                 Master_Server_Id: 126
  44.  
                      Master_UUID: fadd5b7d-7d9f-11e8-90b4-13ccc7802b56
  45.  
                 Master_Info_File: /data/master.info
  46.  
                        SQL_Delay: 0
  47.  
              SQL_Remaining_Delay: NULL
  48.  
          Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
  49.  
               Master_Retry_Count: 86400
  50.  
                      Master_Bind:
  51.  
          Last_IO_Error_Timestamp:
  52.  
         Last_SQL_Error_Timestamp:
  53.  
                   Master_SSL_Crl:
  54.  
               Master_SSL_Crlpath:
  55.  
               Retrieved_Gtid_Set:
  56.  
                Executed_Gtid_Set:
  57.  
                    Auto_Position: 0
  58.  
     
  59.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.126 -e "show slave status\G"
  60.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  61.  
     
  62.  
    C:\WINDOWS\system32>

（6）驗證客戶端VIP訪問

 
  1.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.100 -e "show variables like 'server_id'; show databases;"
  2.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  3.  
    +---------------+-------+
  4.  
    | Variable_name | Value |
  5.  
    +---------------+-------+
  6.  
    | server_id     | 126   |
  7.  
    +---------------+-------+
  8.  
    +--------------------+
  9.  
    | Database           |
  10.  
    +--------------------+
  11.  
    | information_schema |
  12.  
    | mysql              |
  13.  
    | performance_schema |
  14.  
    | source             |
  15.  
    | test               |
  16.  
    +--------------------+
  17.  
     
  18.  
    C:\WINDOWS\system32>

4. 測試在線切換

        在許多狀況下，須要將現有的主服務器遷移到另一臺服務器上。好比主服務器硬件故障，RAID控制卡須要重建，將主服務器移到性能更好的服務器上等等。維護主服務器引發性能降低，致使停機時間至少沒法寫入數據。另外，阻塞或殺掉當前運行的會話會致使主主之間數據不一致的問題發生。MHA 提供快速切換和優雅的阻塞寫入，這個切換過程只須要 0.5-2s 的時間，這段時間內數據是沒法寫入的。在不少狀況下，0.5-2s 的阻塞寫入是能夠接受的。所以切換主服務器不須要計劃分配維護時間窗口。

        MHA在線切換的大概過程：

  1. 檢測複製設置和肯定當前主服務器
  2. 肯定新的主服務器
  3. 阻塞寫入到當前主服務器
  4. 等待全部從服務器遇上覆制
  5. 授予寫入到新的主服務器
  6. 從新設置從服務器 

        注意，在線切換的時候應用架構須要考慮如下兩個問題：

  1. 自動識別master和slave的問題（master的機器可能會切換），若是採用了vip的方式，基本能夠解決這個問題。
  2. 負載均衡的問題（能夠定義大概的讀寫比例，每臺機器可承擔的負載比例，當有機器離開集羣時，須要考慮這個問題）

        爲了保證數據徹底一致性，在最快的時間內完成切換，MHA的在線切換必須知足如下條件纔會切換成功，不然會切換失敗。

  • 全部slave的IO線程都在運行
  • 全部slave的SQL線程都在運行
  • 全部的show slave status的輸出中Seconds_Behind_Master參數小於或者等於running_updates_limit秒。若是在切換過程當中不指定running_updates_limit，那麼默認狀況下running_updates_limit爲1秒。
  • 在master端，經過show processlist輸出，沒有一個更新花費的時間大於running_updates_limit秒。

        在測試前，先按照上面「測試手工切換」測試前的步驟執行還原環境（手工切換不用修改/etc/masterha/app1.cnf配置文件），而後按如下步驟測試線切換：

（1）中止MHA Manage
        在hdp1上用root用戶操做。

masterha_stop --conf=/etc/masterha/app1.cnf

（2）執行在線切換命令
        在hdp1上用root用戶操做。

masterha_master_switch --conf=/etc/masterha/app1.cnf --master_state=alive --new_master_host=172.16.1.126 --new_master_port=3306  --orig_master_is_new_slave --running_updates_limit=10000

（3）驗證複製關係
        在hdp二、hdp三、hdp4查看slave status：

 
  1.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.125 -e "show slave status\G"
  2.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  3.  
    *************************** 1. row ***************************
  4.  
                   Slave_IO_State: Waiting for master to send event
  5.  
                      Master_Host: 172.16.1.126
  6.  
                      Master_User: repl
  7.  
                      Master_Port: 3306
  8.  
                    Connect_Retry: 60
  9.  
                  Master_Log_File: mysql-bin.000001
  10.  
              Read_Master_Log_Pos: 120
  11.  
                   Relay_Log_File: hdp2-relay-bin.000002
  12.  
                    Relay_Log_Pos: 283
  13.  
            Relay_Master_Log_File: mysql-bin.000001
  14.  
                 Slave_IO_Running: Yes
  15.  
                Slave_SQL_Running: Yes
  16.  
                  Replicate_Do_DB:
  17.  
              Replicate_Ignore_DB:
  18.  
               Replicate_Do_Table:
  19.  
           Replicate_Ignore_Table:
  20.  
          Replicate_Wild_Do_Table:
  21.  
      Replicate_Wild_Ignore_Table:
  22.  
                       Last_Errno: 0
  23.  
                       Last_Error:
  24.  
                     Skip_Counter: 0
  25.  
              Exec_Master_Log_Pos: 120
  26.  
                  Relay_Log_Space: 455
  27.  
                  Until_Condition: None
  28.  
                   Until_Log_File:
  29.  
                    Until_Log_Pos: 0
  30.  
               Master_SSL_Allowed: No
  31.  
               Master_SSL_CA_File:
  32.  
               Master_SSL_CA_Path:
  33.  
                  Master_SSL_Cert:
  34.  
                Master_SSL_Cipher:
  35.  
                   Master_SSL_Key:
  36.  
            Seconds_Behind_Master: 0
  37.  
    Master_SSL_Verify_Server_Cert: No
  38.  
                    Last_IO_Errno: 0
  39.  
                    Last_IO_Error:
  40.  
                   Last_SQL_Errno: 0
  41.  
                   Last_SQL_Error:
  42.  
      Replicate_Ignore_Server_Ids:
  43.  
                 Master_Server_Id: 126
  44.  
                      Master_UUID: fadd5b7d-7d9f-11e8-90b4-13ccc7802b56
  45.  
                 Master_Info_File: /data/master.info
  46.  
                        SQL_Delay: 0
  47.  
              SQL_Remaining_Delay: NULL
  48.  
          Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
  49.  
               Master_Retry_Count: 86400
  50.  
                      Master_Bind:
  51.  
          Last_IO_Error_Timestamp:
  52.  
         Last_SQL_Error_Timestamp:
  53.  
                   Master_SSL_Crl:
  54.  
               Master_SSL_Crlpath:
  55.  
               Retrieved_Gtid_Set:
  56.  
                Executed_Gtid_Set:
  57.  
                    Auto_Position: 0
  58.  
     
  59.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.126 -e "show slave status\G"
  60.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  61.  
     
  62.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.127 -e "show slave status\G"
  63.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  64.  
    *************************** 1. row ***************************
  65.  
                   Slave_IO_State: Waiting for master to send event
  66.  
                      Master_Host: 172.16.1.126
  67.  
                      Master_User: repl
  68.  
                      Master_Port: 3306
  69.  
                    Connect_Retry: 60
  70.  
                  Master_Log_File: mysql-bin.000001
  71.  
              Read_Master_Log_Pos: 120
  72.  
                   Relay_Log_File: hdp4-relay-bin.000002
  73.  
                    Relay_Log_Pos: 283
  74.  
            Relay_Master_Log_File: mysql-bin.000001
  75.  
                 Slave_IO_Running: Yes
  76.  
                Slave_SQL_Running: Yes
  77.  
                  Replicate_Do_DB:
  78.  
              Replicate_Ignore_DB:
  79.  
               Replicate_Do_Table:
  80.  
           Replicate_Ignore_Table:
  81.  
          Replicate_Wild_Do_Table:
  82.  
      Replicate_Wild_Ignore_Table:
  83.  
                       Last_Errno: 0
  84.  
                       Last_Error:
  85.  
                     Skip_Counter: 0
  86.  
              Exec_Master_Log_Pos: 120
  87.  
                  Relay_Log_Space: 455
  88.  
                  Until_Condition: None
  89.  
                   Until_Log_File:
  90.  
                    Until_Log_Pos: 0
  91.  
               Master_SSL_Allowed: No
  92.  
               Master_SSL_CA_File:
  93.  
               Master_SSL_CA_Path:
  94.  
                  Master_SSL_Cert:
  95.  
                Master_SSL_Cipher:
  96.  
                   Master_SSL_Key:
  97.  
            Seconds_Behind_Master: 0
  98.  
    Master_SSL_Verify_Server_Cert: No
  99.  
                    Last_IO_Errno: 0
  100.  
                    Last_IO_Error:
  101.  
                   Last_SQL_Errno: 0
  102.  
                   Last_SQL_Error:
  103.  
      Replicate_Ignore_Server_Ids:
  104.  
                 Master_Server_Id: 126
  105.  
                      Master_UUID: fadd5b7d-7d9f-11e8-90b4-13ccc7802b56
  106.  
                 Master_Info_File: /data/master.info
  107.  
                        SQL_Delay: 0
  108.  
              SQL_Remaining_Delay: NULL
  109.  
          Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
  110.  
               Master_Retry_Count: 86400
  111.  
                      Master_Bind:
  112.  
          Last_IO_Error_Timestamp:
  113.  
         Last_SQL_Error_Timestamp:
  114.  
                   Master_SSL_Crl:
  115.  
               Master_SSL_Crlpath:
  116.  
               Retrieved_Gtid_Set:
  117.  
                Executed_Gtid_Set:
  118.  
                    Auto_Position: 0
  119.  
     
  120.  
    C:\WINDOWS\system32>

        能夠看到hdp3 172.16.1.126成爲新的master，而hdp2 172.16.1.125和hdp4 172.16.1.127 成爲指向新master的slave。

（4）驗證VIP自動漂移

 
  1.  
    [root@hdp3~]#ip a
  2.  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
  3.  
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4.  
        inet 127.0.0.1/8 scope host lo
  5.  
           valid_lft forever preferred_lft forever
  6.  
        inet6 ::1/128 scope host 
  7.  
           valid_lft forever preferred_lft forever
  8.  
    2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
  9.  
        link/ether 00:50:56:a5:0f:77 brd ff:ff:ff:ff:ff:ff
  10.  
        inet 172.16.1.126/24 brd 172.16.1.255 scope global ens32
  11.  
           valid_lft forever preferred_lft forever
  12.  
        inet 172.16.1.100/16 brd 172.16.255.255 scope global ens32:1
  13.  
           valid_lft forever preferred_lft forever
  14.  
        inet6 fe80::250:56ff:fea5:f77/64 scope link 
  15.  
           valid_lft forever preferred_lft forever
  16.  
    [root@hdp3~]#

（5）驗證客戶端經過VIP訪問數據庫

 
  1.  
    C:\WINDOWS\system32>mysql -uroot -p123456 -h172.16.1.100 -e "show variables like 'server_id'"
  2.  
    mysql: [Warning] Using a password on the command line interface can be insecure.
  3.  
    +---------------+-------+
  4.  
    | Variable_name | Value |
  5.  
    +---------------+-------+
  6.  
    | server_id     | 126   |
  7.  
    +---------------+-------+
  8.  
     
  9.  
    C:\WINDOWS\system32>

5. 修復宕機的Master 

        一般狀況下自動切換之後，原master可能已經廢棄掉，待原master主機修復後，若是數據完整的狀況下，可能想把原來master從新做爲新主庫的slave。這時咱們能夠藉助當時自動切換時刻的MHA日誌來完成對原master的修復。下面是提取相關日誌的命令：

grep -i "All other slaves should start" /var/log/masterha/app1/manager.log

        能夠看到相似下面的信息：

All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='172.16.1.126', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000005', MASTER_LOG_POS=120, MASTER_USER='repl', MASTER_PASSWORD='123456';

        意思是說，若是Master主機修復好了，能夠在修復好後的Master執行CHANGE MASTER操做，做爲新的slave庫。

參考：

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程