千億級數據平滑擴容之數據庫雙主同步與高可用實現

時間  2021-03-31
標籤 mysql 算法 sql shell 數據庫 centos 服務器 session 架構 負載均衡 欄目 SQL 简体版
原文   原文鏈接

1. 擴容以前的部署架構

爲便於測試， 這裏假設有兩臺數據庫節點Server1和Server2。mysql

file

2. MariaDB服務安裝

  1. 切換阿里雲鏡像服務（YUM安裝過慢能夠切換）算法

    yum -y install wget
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repo
yum clean all
yum makecache

  2. 配置YUM源sql

    vi /etc/yum.repos.d/mariadb-10.2.repo

    增長如下內容：shell

    [mariadb]
name = MariaDB
baseurl = https://mirrors.ustc.edu.cn/mariadb/yum/10.2/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1

  3. 執行安裝數據庫

    yum -y install mariadb mariadb-server MariaDB-client  MariaDB-common

  4. 若是以前已經安裝， 須要先刪除（若是以前沒有安裝， 能夠忽略此步驟）centos

    • 中止Mariadb服務服務器

      [root@localhost yum.repos.d]# ps -ef | grep mysql
root       1954      1  0 Oct04 ?        00:05:43 /usr/sbin/mysqld --wsrep-new-cluster --user=root
root      89521  81403  0 07:40 pts/0    00:00:00 grep --color=auto mysql
[root@localhost yum.repos.d]# kill 1954

    • 卸載Mariadb服務session

      yum -y remove Maria*

    • 刪除數據與配置：架構

      rm -rf /var/lib/mysql/*
rm -rf /etc/my.cnf.d/
rm -rf /etc/my.cnf

  5. 初始化配置負載均衡

    systemctl  start mariadb
mysql_secure_installation

  6. 開啓用戶遠程鏈接權限

    將鏈接用戶root開啓遠程鏈接權限；

    mysql -uroot -p654321

    進入MySQL服務， 執行如下操做：

    use mysql;
delete from user;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '654321' WITH GRANT OPTION;
FLUSH PRIVILEGES;

3. MariaDB雙主同步

  1. 在Server1增長配置：

    在/etc/my.cnf中添加如下配置：

    [mysqld]
server-id  = 1
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=1
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10

    注意， Server1自增爲奇數位：

    auto-increment-offset=1 主鍵自增基數, 從1開始。

    auto-increment-increment=2 主鍵自增偏移量，每次爲2。

  2. 在Server2增長配置：

    修改/etc/my.cnf:

    [mysqld]
server-id = 2
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=2
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10

    Server2自增爲偶數位：

    auto-increment-offset=2 主鍵自增基數, 從2開始。

    auto-increment-increment=2 主鍵自增偏移量，每次爲2。

    配置修改完成後， 重啓數據庫。

  3. 同步受權配置

    在Server1建立replica用於主從同步的用戶：

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
mysql> flush privileges;

    查詢日誌文件與偏移量，開啓同步時需使用：

    MariaDB [(none)]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      663 |              |                  |
+------------------+----------+--------------+------------------+

    一樣， 在Server2建立replica用於主從同步的用戶：

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
mysql> flush privileges;

    查詢日誌文件與偏移量：

    MariaDB [(none)]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      663 |              |                  |
+------------------+----------+--------------+------------------+

  4. 配置主從同步信息

    在Server1中執行：

    MariaDB [(none)]> change master to master_host='10.10.20.126',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=663, master_connect_retry=30;

    在Server2中執行：

    MariaDB [(none)]> change master to master_host='10.10.20.125',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=663, master_connect_retry=30;

  5. 開啓雙主同步

    在Server1和Server2中分別執行：

    MariaDB [(none)]> start slave;
Query OK, 0 rows affected (0.00 sec)

    在Server1查詢同步信息：

    MariaDB [(none)]>  show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.10.20.126
                  Master_User: replica
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 663
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 555
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
...

    在Server2查詢同步信息：

    MariaDB [(none)]>  show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.10.20.125
                  Master_User: replica
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 663
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 555
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
...

    Slave_IO_Running和Slave_SQL_Running 都是Yes，說明雙主同步配置成功。

4. KeepAlived安裝與高可用配置

  1. 在Server1與Server2兩臺節點安裝keepalived：

    yum -y install keepalived

  2. 關閉防火牆

    systemctl stop firewalld
systemctl disable firewalld

  3. 設置主機名稱：

    Server1節點：

    hostnamectl set-hostname vip1

    Server2節點：

    hostnamectl set-hostname vip2

  4. Server1節點配置

    /etc/keepalived/keepalived.conf：

    global_defs {
   router_id vip1           # 機器標識，和主機名保持一致
}
vrrp_instance VI_1 {            #vrrp實例定義
    state BACKUP               #lvs的狀態模式，MASTER表明主， BACKUP表明備份節點
    interface ens33               #綁定對外訪問的網卡
    virtual_router_id 111        #虛擬路由標示，同一個vrrp實例採用惟一標示
    priority 100               #優先級，100表明最大優先級， 數字越大優先級越高
    advert_int 1              #master與backup節點同步檢查的時間間隔，單位是秒
    authentication {           #設置驗證信息
        auth_type PASS         #有PASS和AH兩種
        auth_pass 6666         #驗證密碼，BACKUP密碼須相同
    }
    virtual_ipaddress {         #KeepAlived虛擬的IP地址
        10.10.20.130
    }
}
virtual_server 10.10.20.130 3306 {       #配置虛擬服務器IP與訪問端口
    delay_loop 6                 #健康檢查時間
    lb_algo rr                  #負載均衡調度算法， rr表明輪詢
    lb_kind DR                   #負載均衡轉發規則
    persistence_timeout 0        #會話保持時間，這裏要作測試， 因此設爲0， 實際可根據session有效時間配置
    protocol TCP               #轉發協議類型，支持TCP和UDP
    real_server 10.10.20.125 3306 {    #配置服務器節點VIP1    
    notify_down /usr/local/shell/mariadb.sh #當服務掛掉時， 會執行此腳本，結束keepalived進程
    weight 1               #設置權重，越大權重越高
    TCP_CHECK {              #r狀態監測設置
       connect_timeout 10       #超時配置， 單位秒
       retry 3             #重試次數
       delay_before_retry 3        #重試間隔
       connect_port 3306         #鏈接端口， 和上面保持一致
       }
    }

}

    建立關閉腳本mariadb.sh

    /usr/local/shell/mariadb.sh：

    pkill keepalived

    加入執行權限：

    chmod a+x mariadb.sh

  5. Server2節點配置：

    global_defs {
   router_id vip2           # 機器標識，和主機名保持一致
}
vrrp_instance VI_1 {            #vrrp實例定義
    state BACKUP               #lvs的狀態模式，MASTER表明主， BACKUP表明備份節點
    interface ens33               #綁定對外訪問的網卡
    virtual_router_id 111        #虛擬路由標示，同一個vrrp實例採用惟一標示
    priority 98               #優先級，100表明最大優先級， 數字越大優先級越高
    advert_int 1              #master與backup節點同步檢查的時間間隔，單位是秒
    authentication {           #設置驗證信息
        auth_type PASS         #有PASS和AH兩種
        auth_pass 6666         #驗證密碼，BACKUP密碼須相同
    }
    virtual_ipaddress {         #KeepAlived虛擬的IP地址
        10.10.20.130
    }
}
virtual_server 10.10.20.130 3306 {       #配置虛擬服務器IP與訪問端口
    delay_loop 6                 #健康檢查時間
    lb_algo rr                  #負載均衡調度算法， rr表明輪詢, 能夠關閉
    lb_kind DR                   #負載均衡轉發規則, 能夠關閉
    persistence_timeout 0        #會話保持時間，這裏要作測試， 因此設爲0， 實際可根據session有效時間配置
    protocol TCP               #轉發協議類型，支持TCP和UDP
    real_server 10.10.20.126 3306{    #配置服務器節點VIP2
    notify_down /usr/local/shell/mariadb.sh #當服務掛掉時， 會執行此腳本，結束keepalived進程
    weight 1               #設置權重，越大權重越高
    TCP_CHECK {              #r狀態監測設置
       connect_timeout 10       #超時配置， 單位秒
       retry 3             #重試次數
       delay_before_retry 3        #重試間隔
       connect_port 3306         #鏈接端口， 和上面保持一致
       }
    }

}

    和Server1的差別項：

    router_id vip2   # 機器標識，和主機名保持一致
priority 98               #優先級，100表明最大優先級， 數字越大優先級越高
real_server 10.10.20.126 3306  #配置服務器節點VIP2

    注意， 兩臺節點都設爲BACKUP

    virtual_router_id 111        #同一個vrrp實例採用惟一標示
state BACKUP

    若是不想重啓後， 爭奪備用節點的VIP， 能夠設置此項

    nopreempt #不主動搶佔資源
  6. 驗證高可用

    中止主節點MariaDB服務， 驗證是否可以實現自動切換。

    • *

本文由mirson創做分享，如需進一步交流，請加QQ羣：19310171或訪問www.softart.cn

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程