MySQL實行讀寫分離的中間件——ProxySQL

時間 2019-11-25

標籤 mysql 實行讀寫分離中間件 proxysql 欄目 MySQL 简体版

原文原文鏈接

上邊介紹了mysql的主從模型，能夠提高數據庫服務器的性能，保證數據的完整性和可靠性，可是呢，若是說僅此而已的話，那麼master依舊會承擔巨大的訪問和寫操做的壓力，以致於咱們提高又到達一個新的瓶頸。藉此，介紹一個可實行讀寫分離的MySQL的中間件——ProxySQL，依賴於主從模型之上，可讓用戶的訪問操做發送到slave上，寫操做發送到master，這樣咱們的master的壓力就會獲得必定的提高；mysql

ProxySQL是一個基於C++開發的高性能輕量級產品，是一款強大的mysql的中間件，他能夠實現多種方式的讀寫分離。正則表達式

Master IP：172.16.75.4 CentOS 7.5D server_id：401sql

Slave IP：172.16.75.3 CentOS 7.5C server_id：301數據庫

1.首先，yum安裝便可，而後啓動，啓動端口爲6032（個人proxysql安裝在了master上）；後端

[root@slave2 ~]# ss -tnl
State      Recv-Q Send-Q           Local Address:Port                          Peer Address:Port             
LISTEN     0      50                           *:3306                                     *:*                 
LISTEN     0      128                          *:111                                      *:*                 
LISTEN     0      128                          *:6032                                     *:*                 
LISTEN     0      128                          *:6033                                     *:*                 
LISTEN     0      128                          *:6033                                     *:*                 
LISTEN     0      128                          *:6033                                     *:*                 
LISTEN     0      128                          *:6033                                     *:*

2.使用mysql客戶端工具登陸proxysql，用戶名和密碼都是admin，端口爲6032，默認不容許localhost登陸，因此要用127.0.0.1IP地址登陸；bash

[root@slave2 ~]# mysql -uadmin  -padmin -h127.0.0.1  -P6032
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.5.30 (ProxySQL Admin Module)
 
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
MySQL [(none)]> show databases;
+-----+---------------+-------------------------------------+
| seq | name          | file                                |
+-----+---------------+-------------------------------------+
| 0   | main          |                                     |
| 2   | disk          | /var/lib/proxysql/proxysql.db       |
| 3   | stats         |                                     |
| 4   | monitor       |                                     |
| 5   | stats_history | /var/lib/proxysql/proxysql_stats.db |
+-----+---------------+-------------------------------------+
5 rows in set (0.00 sec)

3.主要介紹其中mian庫和monitor庫；服務器

MySQL [(none)]> show tables from main;
+--------------------------------------------+
| tables                                     |
+--------------------------------------------+
| global_variables                           |
| mysql_collations                           |
| mysql_group_replication_hostgroups         |
| mysql_query_rules                          |
| mysql_query_rules_fast_routing             |
| mysql_replication_hostgroups               |
| mysql_servers                              |  插入監控節點，master節點和slave節點
| mysql_users                                |
| proxysql_servers                           |
| runtime_checksums_values                   |
| runtime_global_variables                   |
| runtime_mysql_group_replication_hostgroups |
| runtime_mysql_query_rules                  |
| runtime_mysql_query_rules_fast_routing     |
| runtime_mysql_replication_hostgroups       |
| runtime_mysql_servers                      |
| runtime_mysql_users                        |
| runtime_proxysql_servers                   |
| runtime_scheduler                          |
| scheduler                                  |
+--------------------------------------------+
20 rows in set (0.00 sec)

4.在mysql_servers表中有幾個重要的屬性：app

hostgroup_id：組ID，用於區分master和slave；frontend

hostname：後端master和slave的IP地址；ide

port：後端master和slave的IP端口，默認3306；

MySQL [main]> insert into mysql_servers (hostgroup_id,hostname,port) values (10,'172.16.75.4',3306),(20,'172.16.75.3',3306);
Query OK, 2 rows affected (0.02 sec)
 
MySQL [main]> load mysql servers to runtime;
Query OK, 0 rows affected (0.01 sec)
 
MySQL [main]> save mysql servers to disk;
Query OK, 0 rows affected (0.06 sec)

注意：

1.設置的master的hostgroup_id爲10（寫組）；

2.設置的slave的hostgroup_id爲20（讀組）；

3.每次在proxysql執行完操做以後，須要手動加載至內存上，而後手動保存至磁盤上，表名中的」_」改成空格； mysql_servers à mysql servers

5.在master上受權一個監控用戶，用於監控後端的節點（注意：是master的mysql，不是Proxysql）；

這個用戶須要的權限：replication client和replication slave

MariaDB [(none)]> grant replication client,replication slave on *.* to 'monitor'@'%' identified by '123456';
Query OK, 0 rows affected (0.02 sec)

6.在proxysql上加入該節點；

MySQL [main]> set mysql-monitor_username='monitor';
Query OK, 1 row affected (0.00 sec)
 
MySQL [main]> set mysql-monitor_password='123456';
Query OK, 1 row affected (0.00 sec)
 
MySQL [main]> load mysql variables to runtime;
Query OK, 0 rows affected (0.00 sec)
 
MySQL [main]> save mysql variables to disk;
Query OK, 95 rows affected (0.03 sec)

經過查看錶mysql_server_ping_log瞭解後端服務器狀態信息；

MySQL [main]> select * from mysql_server_ping_log limit 1,10;
+-------------+------+------------------+----------------------+----------------------------------------------------------------------+
| hostname    | port | time_start_us    | ping_success_time_us | ping_error                                                           |
+-------------+------+------------------+----------------------+----------------------------------------------------------------------+
| 172.16.75.4 | 3306 | 1541505676594192 | 0                    | Access denied for user 'monitor'@'172.16.75.4' (using password: YES) |
| 172.16.75.3 | 3306 | 1541505686592082 | 0                    | Host '172.16.75.4' is not allowed to connect to this MariaDB server  |
| 172.16.75.4 | 3306 | 1541505686594872 | 0                    | Access denied for user 'monitor'@'172.16.75.4' (using password: YES) |
| 172.16.75.3 | 3306 | 1541505696592635 | 0                    | Host '172.16.75.4' is not allowed to connect to this MariaDB server  |
| 172.16.75.4 | 3306 | 1541505696595442 | 0                    | Access denied for user 'monitor'@'172.16.75.4' (using password: YES) |
| 172.16.75.3 | 3306 | 1541505706593101 | 0                    | Host '172.16.75.4' is not allowed to connect to this MariaDB server  |
| 172.16.75.4 | 3306 | 1541505706596427 | 0                    | Access denied for user 'monitor'@'172.16.75.4' (using password: YES) |
| 172.16.75.3 | 3306 | 1541505716593471 | 0                    | Host '172.16.75.4' is not allowed to connect to this MariaDB server  |
| 172.16.75.4 | 3306 | 1541505716596416 | 0                    | Access denied for user 'monitor'@'172.16.75.4' (using password: YES) |
| 172.16.75.3 | 3306 | 1541505726593810 | 0                    | Host '172.16.75.4' is not allowed to connect to this MariaDB server  |
+-------------+------+------------------+----------------------+----------------------------------------------------------------------+
10 rows in set (0.00 sec)

7.對後端定義的服務器的分組進行讀組和寫組的設定，mysql_replication_hostgroups表中添加定義便可，經過查看monitor庫中的mysql_server_read_only_log表查看後端節點是否具備read_only權限；

MySQL [main]> insert into mysql_replication_hostgroups (writer_hostgroup,reader_hostgroup) values (10,20);
Query OK, 1 row affected (0.00 sec)
 
MySQL [main]> load mysql servers to runtime;
Query OK, 0 rows affected (0.00 sec)
 
MySQL [main]> save mysql servers to disk;
Query OK, 0 rows affected (0.03 sec)
 
MySQL [main]> select * from monitor.mysql_server_read_only_log limit 3;
+-------------+------+------------------+-----------------+-----------+-------+
| hostname    | port | time_start_us    | success_time_us | read_only | error |
+-------------+------+------------------+-----------------+-----------+-------+
| 172.16.75.4 | 3306 | 1541506648164762 | 766             | 0         | NULL  |
| 172.16.75.3 | 3306 | 1541506648162822 | 3585            | 1         | NULL  |
| 172.16.75.3 | 3306 | 1541506649664049 | 993             | 1         | NULL  |
+-------------+------+------------------+-----------------+-----------+-------+
3 rows in set (0.00 sec)

8.至此，基本配置完畢，咱們在後端的master上建立兩個用戶帳戶，在proxysql上添加不一樣的hostgroup_id，完成基於不一樣用戶之間進行讀寫分離；

Master mysql：

MariaDB [(none)]> grant all on *.* to 'reader'@'%' identified by  '123456';
Query OK, 0 rows affected (0.01 sec)
 
MariaDB [(none)]> grant all on *.* to 'writer'@'%' identified by  '123456';
Query OK, 0 rows affected (0.00 sec)

Proxysql：

MySQL [main]> insert into mysql_users (username,password,default_hostgroup) values ('reader','123456',20),('writer','123456',10);
Query OK, 2 rows affected (0.00 sec)
 
MySQL [main]> load mysql users to runtime;
Query OK, 0 rows affected (0.01 sec)
 
MySQL [main]> save mysql users to disk;
Query OK, 0 rows affected (0.03 sec)
 
MySQL [main]> select * from mysql_users\G
*************************** 1. row ***************************
              username: reader
              password: 123456
                active: 1
               use_ssl: 0
     default_hostgroup: 20
        default_schema: NULL
         schema_locked: 0
transaction_persistent: 1
          fast_forward: 0
               backend: 1
              frontend: 1
       max_connections: 10000
*************************** 2. row ***************************
              username: writer
              password: 123456
                active: 1
               use_ssl: 0
     default_hostgroup: 10
        default_schema: NULL
         schema_locked: 0
transaction_persistent: 1
          fast_forward: 0
               backend: 1
              frontend: 1
       max_connections: 10000
2 rows in set (0.00 sec)

8.任意一臺主機，測試基於用戶的讀寫分離機制；

[root@slave2 ~]# mysql -uwriter -h172.16.75.4 -P6033 -p123456 -e 'select @@server_id';
+-------------+
| @@server_id |
+-------------+
|         401 |
+-------------+
[root@slave2 ~]# mysql -ureader -h172.16.75.4 -P6033 -p123456 -e 'select @@server_id';
+-------------+
| @@server_id |
+-------------+
|         301 |
+-------------+

9.基於SQL語句實現讀寫分離；

須要在mysql_query_rules表中添加兩條正則表達式的規則；

MySQL [main]> insert into mysql_query_rules (rule_id,active,match_digest,destination_hostgroup,apply) values (1,1,'^SELECT.*FOR UPDATE$',10,1),(2,1,'^SELECT',20,1);
Query OK, 2 rows affected (0.00 sec)
 
MySQL [main]> load mysql query rules to runtime;
Query OK, 0 rows affected (0.00 sec)
 
MySQL [main]> save mysql query rules to disk;
Query OK, 0 rows affected (0.02 sec)

10.任意一臺主機測試基於SQL語句讀寫分離的機制；

[root@slave2 ~]# mysql -ureader -h172.16.75.4 -P6033 -p123456 -e 'set @@autocommit=0;\
start transaction;\
use hellodb;\
insert into coc (ID,ClassID,CourseID) values (100,100,100);\
select @@server_id;\
commit;'
+-------------+
| @@server_id |
+-------------+
|         301 |
+-------------+

Master中的hellodb數據庫進行查看；

MariaDB [hellodb]> select * from coc;
+----+---------+----------+
| ID | ClassID | CourseID |
+----+---------+----------+
|  1 |       1 |        2 |
|  2 |       1 |        5 |
|  3 |       2 |        2 |
|  4 |       2 |        6 |
|  5 |       3 |        1 |
|  6 |       3 |        7 |
|  7 |       4 |        5 |
|  8 |       4 |        2 |
|  9 |       5 |        1 |
| 10 |       5 |        9 |
| 11 |       6 |        3 |
| 12 |       6 |        4 |
| 13 |       7 |        4 |
| 14 |       7 |        3 |
+----+---------+----------+
14 rows in set (0.00 sec)
 
MariaDB [hellodb]> select * from coc;
+-----+---------+----------+
| ID  | ClassID | CourseID |
+-----+---------+----------+
|   1 |       1 |        2 |
|   2 |       1 |        5 |
|   3 |       2 |        2 |
|   4 |       2 |        6 |
|   5 |       3 |        1 |
|   6 |       3 |        7 |
|   7 |       4 |        5 |
|   8 |       4 |        2 |
|   9 |       5 |        1 |
|  10 |       5 |        9 |
|  11 |       6 |        3 |
|  12 |       6 |        4 |
|  13 |       7 |        4 |
|  14 |       7 |        3 |
| 100 |     100 |      100 |
+-----+---------+----------+
15 rows in set (0.00 sec)

對於數據庫服務器來講，保證查詢高效的速度的同時也須要保證不俗的寫入操做，所以，讀寫分離對提高數據庫性能來講顯得尤其重要，這關係到用戶的體驗，因此，MySQL的中間件——ProxySQL，就對在生產環境中顯得那麼必不可少，畢竟提高體驗的好東西。