利用MariaDB Galera Cluster實現mariadb的多主複製

時間 2019-11-13

標籤利用 mariadb galera cluster 實現複製简体版

原文原文鏈接

利用MariaDB Galera Cluster實現mariadb的多主複製

時間：2014年01月08日 | 分類：MariaDB | 評論：0 條 | 瀏覽：870 次 html

1、MariaDB Galera Cluster概要：mysql

1.簡述：linux

MariaDB Galera Cluster 是一套在mysql innodb存儲引擎上面實現multi-master及數據實時同步的系統架構，業務層面無需作讀寫分離工做，數據庫讀寫壓力都能按照既定的規則分發到各個節點上去。在數據方面徹底兼容 MariaDB 和 MySQL。sql

2.特性：數據庫

(1).同步複製 Synchronous replicationvim

(2).Active-active multi-master 拓撲邏輯安全

(3).可對集羣中任一節點進行數據讀寫服務器

(4).自動成員控制，故障節點自動從集羣中移除網絡

(5).自動節點加入架構

(6).真正並行的複製，基於行級

(7).直接客戶端鏈接，原生的 MySQL 接口

(8).每一個節點都包含完整的數據副本

(9).多臺數據庫中數據同步由 wsrep 接口實現

3.侷限性

(1).目前的複製僅僅支持InnoDB存儲引擎,任何寫入其餘引擎的表，包括mysql.*表將不會複製,可是DDL語句會被複制的,所以建立用戶將會被複制,可是insert into mysql.user…將不會被複制的.

(2).DELETE操做不支持沒有主鍵的表,沒有主鍵的表在不一樣的節點順序將不一樣,若是執行SELECT…LIMIT… 將出現不一樣的結果集.

(3).在多主環境下LOCK/UNLOCK TABLES不支持,以及鎖函數GET_LOCK(), RELEASE_LOCK()…

(4).查詢日誌不能保存在表中。若是開啓查詢日誌，只能保存到文件中。

(5).容許最大的事務大小由wsrep_max_ws_rows和wsrep_max_ws_size定義。任何大型操做將被拒絕。如大型的LOAD DATA操做。

(6).因爲集羣是樂觀的併發控制，事務commit可能在該階段停止。若是有兩個事務向在集羣中不一樣的節點向同一行寫入並提交，失敗的節點將停止。對於集羣級別的停止，集羣返回死鎖錯誤代碼(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).

(7).XA事務不支持，因爲在提交上可能回滾。

(8).整個集羣的寫入吞吐量是由最弱的節點限制，若是有一個節點變得緩慢，那麼整個集羣將是緩慢的。爲了穩定的高性能要求，全部的節點應使用統一的硬件。

(9).集羣節點建議最少3個。

(10).若是DDL語句有問題將破壞集羣。

2、MariaDB Galera Cluster搭建演示

1.環境描述

OS: red hat linux 6.0 64bit

MariaDB server1:	192.168.1.137
MariaDB server2:	192.168.1.138
MariaDB server3:	192.168.1.139

Galera SST user:	sst
Galera SST password:	sstpass123

MySQL root password:

kongzhong

2. 配置mariadb的yum源

[root@client137 ~]# vim /etc/yum.repos.d/mariadb.repo

[root@client138 ~]# vim /etc/yum.repos.d/mariadb.repo

[root@client139 ~]# vim /etc/yum.repos.d/mariadb.repo

# yum源的內容以下：

[mariadb]

name = MariaDB

baseurl = http://yum.mariadb.org/5.5/rhel6-amd64

enabled = 1

gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB

gpgcheck=1

[root@client137 ~]# yum makecache

[root@client138 ~]# yum makecache

[root@client139 ~]# yum makecache

3.安裝 MariaDB-Galera-server galera MariaDB-client

[root@client137 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client

[root@client138 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client

[root@client139 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client

4.編輯每臺機器的hosts文件，添加以下內容

[root@client137 ~]# vim /etc/hosts

192.168.1.137 client137.kongzhong.com client137
192.168.1.138 client138.kongzhong.com client138
192.168.1.139 client139.kongzhong.com client139

# 啓動測試一下

[root@client137 ~]# /etc/init.d/mysql start
Starting MySQL.... SUCCESS!
[root@client137 ~]# chkconfig mysql on

5.設置MariaDB的root密碼，並作安全加固

[root@client137 ~]# /usr/bin/mysql_secure_installation

# 登錄數據庫，受權用於集羣同步的用戶和密碼

[root@client137 ~]# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on *.* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

# 建立並配置wsrep.cnf文件

[root@client137 ~]# cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/
[root@client137 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只須要修改以下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

wsrep_cluster_address="gcomm://"

wsrep_sst_auth=sst:sstpass123

wsrep_sst_method=rsync

# 注意:

# "gcomm://" 是特殊的地址,僅僅是Galera cluster初始化啓動時候使用。

# 若是集羣啓動之後，咱們關閉了第一個節點，那麼再次啓動的時候必須先修改，"gcomm://"爲其餘節點的集羣地址,例如wsrep_cluster_address="gcomm://192.168.1.138:4567"

6.確認本機防火牆上開放了所需TCP 3306和TCP 4567的端口[也能夠關閉防火牆]

[root@client137 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
[root@client137 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

# 啓動mariadb，查看3306和4567端口是否被監聽

[root@client137 ~]# /etc/init.d/mysql restart

[root@client137 ~]# netstat -tulpn |grep -e 4567 -e 3306
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 32363/mysqld
tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 32363/mysqld

# 這樣一個節點就已經配置完成，其餘節點的配置先給個思路，以下注釋部分：

#　*********************　#

構造新節點的操做步驟以下:

1.按照上述1-6的步驟安裝MariaDB和Galera library

2.除了第5步wsrep_cluster_address的配置稍有不一樣:

wsrep_cluster_address="gcomm://Node-A-IP:4567" # 這裏指向是指上一層的集羣地址

3.重起MariaDB

#　*********************　#

7.新添加節點的配置以下：

# 構建192.168.1.138節點

[root@client138 ~]# /etc/init.d/mysql start
Starting MySQL.... SUCCESS!
[root@client138 ~]# /usr/bin/mysql_secure_installation

[root@client138 ~]# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on *.* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

[root@client138 ~]# cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/
[root@client138 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只須要修改以下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

# 這裏指定上一個集羣節點的IP地址

wsrep_cluster_address="gcomm://192.168.1.137:4567"

# 指定用於同步的帳號和密碼

wsrep_sst_auth=sst:sstpass123

wsrep_sst_method=rsync

# 確認本機防火牆上開放了所需TCP 3306和TCP 4567的端口

[root@client138 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
[root@client138 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

# 啓動，監聽

[root@client138 ~]# /etc/init.d/mysql restart

[root@client138 ~]# netstat -tulpn |grep -e 4567 -e 3306
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 32363/mysqld
tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 32363/mysqld

# 構建192.168.1.139節點

[root@client139 ~]# /etc/init.d/mysql start
Starting MySQL.... SUCCESS!
[root@client139 ~]# /usr/bin/mysql_secure_installation

[root@client139 ~]# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on *.* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

[root@client139 ~]# cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/
[root@client139 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只須要修改以下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

# 這裏指定上一個集羣節點的IP地址

wsrep_cluster_address="gcomm://192.168.1.138:4567"

# 指定用於同步的帳號和密碼

wsrep_sst_method=rsync

# 確認本機防火牆上開放了所需TCP 3306和TCP 4567的端口

[root@client139 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
[root@client139 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

# 啓動，並查看監聽

[root@client139 ~]# /etc/init.d/mysql restart

[root@client139 ~]# netstat -tulpn |grep -e 4567 -e 3306
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 32363/mysqld
tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 32363/mysqld

8.以上配置完成後，

對於只有2個節點的Galera Cluster和其餘集羣軟件同樣，須要面對極端狀況下的"腦裂"狀態。

爲了不這種問題，Galera引入了"arbitrator(仲裁員)"。

"仲裁員"節點上沒有數據,它在集羣中的做用就是在集羣發生分裂時進行仲裁，集羣中能夠有多個"仲裁員"節點。

"仲裁員"節點加入集羣的方法以下:

[root@client137 ~]# garbd -a gcomm://192.168.1.137:4567 -g my_wsrep_cluster -d

# 註釋：參數說明 :

-d：以daemon模式運行

-a：集羣地址

-g：集羣名稱

9.測試集羣是否配置好參數：

登錄數據庫：

查看以下幾個參數：

# 下面這個參數的顯示是初始化數據庫顯示的狀況

# 若是配置了指向集羣地址，上面那個參數值，應該是你指定集羣的IP地址
MariaDB [kz]> SHOW VARIABLES LIKE 'wsrep_cluster_address';
+-----------------------+----------------------------+
| Variable_name | Value |
+-----------------------+----------------------------+
| wsrep_cluster_address | gcomm://192.168.1.139:4567 |
+-----------------------+----------------------------+
1 row in set (0.00 sec)
# 此參數查看是否開啓
MariaDB [kz]> show status like 'wsrep_ready';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| wsrep_ready | ON |
+---------------+-------+
1 row in set (0.00 sec)

# 這個查看wsrep的相關參數

MariaDB [terry]> show status like 'wsrep%';

+----------------------------+--------------------------------------+

| Variable_name | Value |

+----------------------------+--------------------------------------+

| wsrep_local_state_uuid | bb5b9e17-66c8-11e3-86ba-96854521d205 | uuid 集羣惟一標記

| wsrep_protocol_version | 4 |

| wsrep_last_committed | 16 | sql 提交記錄

| wsrep_replicated | 4 | 隨着複製發出的次數

| wsrep_replicated_bytes | 692 | 數據複製發出的字節數

| wsrep_received | 18 | 數據複製接收次數

| wsrep_received_bytes | 3070 | 數據複製接收的字節數

| wsrep_local_commits | 4 | 本地執行的 sql

| wsrep_local_cert_failures | 0 | 本地失敗事務

| wsrep_local_bf_aborts | 0 |從執行事務過程被本地中斷

| wsrep_local_replays | 0 |

| wsrep_local_send_queue | 0 | 本地發出的隊列

| wsrep_local_send_queue_avg | 0.142857 | 隊列平均時間間隔

| wsrep_local_recv_queue | 0 | 本地接收隊列

| wsrep_local_recv_queue_avg | 0.000000 | 本地接收時間間隔

| wsrep_flow_control_paused | 0.000000 |

| wsrep_flow_control_sent | 0 |

| wsrep_flow_control_recv | 0 |

| wsrep_cert_deps_distance | 0.000000 | 併發數量

| wsrep_apply_oooe | 0.000000 |

| wsrep_apply_oool | 0.000000 |

| wsrep_apply_window | 1.000000 |

| wsrep_commit_oooe | 0.000000 |

| wsrep_commit_oool | 0.000000 |

| wsrep_commit_window | 1.000000 |

| wsrep_local_state | 4 |

| wsrep_local_state_comment | Synced |

| wsrep_cert_index_size | 0 |

| wsrep_causal_reads | 0 |

| wsrep_incoming_addresses | 192.168.1.137:3306 | 鏈接中的數據庫

| wsrep_cluster_conf_id | 18 |

| wsrep_cluster_size | 2 | 集羣成員個數

| wsrep_cluster_state_uuid | bb5b9e17-66c8-11e3-86ba-96854521d205 | 集羣 ID

| wsrep_cluster_status | Primary | 主服務器

| wsrep_connected | ON | 當前是否鏈接中

| wsrep_local_index | 1 |

| wsrep_provider_name | Galera |

| wsrep_provider_vendor | Codership Oy <info@codership.com> |

| wsrep_provider_version | 2.7(rXXXX) |

| wsrep_ready | ON | 插件是否應用中

+----------------------------+--------------------------------------+

40 rows in set (0.05 sec)

#以上詳細參數註釋：

監控狀態參數說明:

(1).集羣完整性檢查:

wsrep_cluster_state_uuid:在集羣全部節點的值應該是相同的,有不一樣值的節點,說明其沒有鏈接入集羣.

wsrep_cluster_conf_id:正常狀況下全部節點上該值是同樣的.若是值不一樣,說明該節點被臨時"分區"了.當節點之間網絡鏈接恢復的時候應該會恢復同樣的值.

wsrep_cluster_size:若是這個值跟預期的節點數一致,則全部的集羣節點已經鏈接.

wsrep_cluster_status:集羣組成的狀態.若是不爲"Primary",說明出現"分區"或是"split-brain"情況.

(2).節點狀態檢查:

wsrep_ready: 該值爲ON,則說明能夠接受SQL負載.若是爲Off,則須要檢查wsrep_connected.

wsrep_connected: 若是該值爲Off,且wsrep_ready的值也爲Off,則說明該節點沒有鏈接到集羣.

wsrep_local_state_comment:若是wsrep_connected爲On,但wsrep_ready爲OFF,則能夠從該項查看緣由.

(3).複製健康檢查:

wsrep_flow_control_paused:表示複製中止了多長時間.即代表集羣由於Slave延遲而慢的程度.值爲0~1,越靠近0越好,值爲1表示複製徹底中止.可優化wsrep_slave_threads的值來改善.

wsrep_cert_deps_distance:有多少事務能夠並行應用處理.wsrep_slave_threads設置的值不該該高出該值太多.

wsrep_flow_control_sent:表示該節點已經中止複製了多少次.

wsrep_local_recv_queue_avg:表示slave事務隊列的平均長度.slave瓶頸的預兆.

最慢的節點的wsrep_flow_control_sent和wsrep_local_recv_queue_avg這兩個值最高.這兩個值較低的話,相對更好.

(4).檢測慢網絡問題:

wsrep_local_send_queue_avg:網絡瓶頸的預兆.若是這個值比較高的話,可能存在網絡瓶

(5).衝突或死鎖的數目:

wsrep_last_committed:最後提交的事務數目

wsrep_local_cert_failures和wsrep_local_bf_aborts:回滾,檢測到的衝突數目

10.測試數據同步，一致等問題，這個測試不演示，概述一下大概思路：

(1).建立一個數據庫，看是否同步

(2).數據庫裏分別建立一個innodb和myisam引擎的表，看是否同步

(3).分別往這兩張表裏插入數據，看是否同步，除innodb引擎數據能夠同步，其他引擎是不一樣步

(4).在任意一節點插入，刪除數據，看是否同步

11.在上面galera集羣搭建完成後，咱們能夠藉助於haproxy和lvs來實現mysql數據庫集羣之間的負載

這裏就不演示，能夠本身配置試試！

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。