MySQL分庫分表 mycat

時間  2021-01-30
標籤 html java node mysql linux sql 數據庫 vim 服務器 app 欄目 MySQL 简体版
原文   原文鏈接
Top

NSD DBA2 DAY06

  1. 案例1：搭建mycat 分片服務器

1 案例1：搭建mycat 分片服務器

1.1 問題

  • 數據庫主機 192.168.4.55 使用db1庫存儲數據
  • 數據庫主機 192.168.4.56 使用db2庫存儲數據
  • 主機 192.168.4.54 運行mycat服務，邏輯庫名稱爲test，鏈接用戶名爲admin，密碼123456
  • 在主機 192.168.4.254 訪問測試配置

1.2 方案

準備四臺主機，搭建mycat分片服務器，經過某種特定條件，將存放在一個數據庫(主機)中的數據，分散存放到多個數據庫(主機)中，已達到分散單臺設備負載的效果。其中192.168.4.56做爲mycat服務器，192.168.4.54和192.168.4.55做爲數據庫服務器，192.168.4.254做爲客戶端。如圖-1所示：html

圖-1java

 

數據分片的拓撲如圖-2所示：node

圖-2mysql

1.3 步驟

實現此案例須要按照以下步驟進行。linux

步驟一：公共配置sql

1）關閉防火牆和selinux，配置yum源（系統源），這裏再也不操做數據庫

2）把54，55還原成獨立數據庫服務器，且只保留默認4個庫其餘都刪除，中止56主機的mha管理服務，下載mycat 軟件到56主機vim

3）在54（主機c2）和55（主機c1）上面建立db1和db2庫服務器

  1. [root@c1 ~]# mysql -u root -p123456    
  2. mysql> create database db1;        //c1上面建立db1庫
  3. Query OK, 1 row affected (0.00 sec)
  5. [root@c2 ~]# mysql -u root -p123456
  6. mysql> create database db2;        //c2上面建立db2庫
  7. Query OK, 1 row affected (0.00 sec)

在54上面受權一個用戶app

  1. mysql> grant all on *.* to admin@"%" identified by "123456";
  2. Query OK, 0 rows affected, 1 warning (0.00 sec)

在55上面受權一個用戶

  1. mysql> grant all on *.* to admin@"%" identified by "123456";
  2. Query OK, 0 rows affected, 1 warning (0.00 sec)

4）修改數據庫的配置文件

注意：1表明不區分表名的大小寫，0爲區分大小寫

主機c1上面：

  1. [root@c1 ~]# vim /etc/my.cnf
  2. [mysqld]
  3. lower_case_table_names=1        //表名忽略大小寫
  4. [root@c1 ~]# systemctl restart mysqld

主機c2上面：

  1. [root@c2 ~]# vim /etc/my.cnf
  2. [mysqld]
  3. lower_case_table_names=1
  4. [root@c2 ~]# systemctl restart mysqld

5）在56主機上面安裝JDK

  1. [root@mycat ~]# rpm -qa | grep -i jdk        //安裝自帶的便可
  2. java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
  3. java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
  4. copy-jdk-configs-2.2-3.el7.noarch
  5. [root@mycat ~]# yum -y install java-1.8.0-openjdk

6）在56主機上面安裝mycat

  1. [root@mycat ~]# cd mysql/
  2. [root@mycat mysql]# tar -xf Mycat-server-1.4-beta-20150604171601-linux.tar.gz    //免安裝，解壓便可使用
  3. [root@mycat mysql]# mv mycat/ /usr/local/
  4. [root@mycat mysql]# ls /usr/local/mycat/
  5. bin catlet conf lib logs version.txt
  6. [root@mycat mysql]# cd /usr/local/mycat/
  7. [root@mycat mycat]# ./bin/mycat --help
  8. Usage: ./bin/mycat { console | start | stop | restart | status | dump }

7）修改配置文件

目錄結構說明：

bin mycat命令，如 啓動 中止 等

catlet 擴展功能

conf 配置文件

lib mycat使用的jar

log mycat啓動日誌和運行日誌

wrapper.log mycat服務啓動日誌

mycat.log 記錄SQL腳本執行後的報錯內容

重要配置文件說明：

server.xml 設置連mycat的帳號信息

schema.xml 配置mycat的真實庫表

rule.xml 定義mycat分片規則

配置標籤說明

<user>.. ..</user> 定義連mycat用戶信息

<datanode>.. ..</datanode> 指定數據節點

<datahost>.. ..</datahost> 指定數據庫地址及用戶信息

查看server.xml配置文件

  1. [root@mycat mycat]# cd conf/
  2. [root@mycat conf]# vim server.xml
  3. </system>
  4. <user name="test">        //鏈接mycat服務時使用的用戶名 test
  5. <property name="password">test</property>        
  6. //使用test用戶鏈接mycat用戶時使用的密碼
  7. <property name="schemas">TESTDB</property>    
  8. //鏈接上mycat服務後，能夠看到的庫名多個時，使用逗號分隔 （是邏輯上的庫名,服務器上沒有這個庫名，隨便取，但要記住）
  9. </user>
  12. <user name="user">
  13. <property name="password">user</property>
  14. <property name="schemas">TESTDB</property>
  15. <property name="readOnly">true</property>        
  16. //定義只讀權限，使用定義的user用戶鏈接mycat服務後只有讀記錄的權限,不寫這一行則是可讀可寫
  17. </user>

修改schema.xml配置文件

  1. [root@mycat conf]# vim schema.xml
  2. <table name="travelrecord" dataNode="dn1,dn2" rule="auto-sharding-long" />
  3. //travelrecord（邏輯上的，名字不能隨便寫，通常不動）表分片到數據節點dn1和dn2，dn1和dn2隨便取的名字
  4. <table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2" />
  5. <table name="hotnews" primaryKey="ID" dataNode="dn1,dn2" rule="mod-long" />
  6. <dataNode name="dn1" dataHost="c1" database="db1" />
  7. //數據節點對應的服務器 name="dn1"名稱要與上面的對應 dataHost="c1"寫本機主機名，database="db1"存在的數據庫名,定義分片使用的庫，所在的物理主機，真正存儲數據的db1庫在物理主機mysql55上
  8. <dataNode name="dn2" dataHost="c2" database="db2" />
  9. //定義分片使用的庫，所在的物理主機，真正存儲數據的db1庫在物理主機mysql55上
  13. 指定c1名稱主機對應的ip地址
  14. <dataHost name="c1" maxCon="1000" minCon="10" balance="0"
  15. writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
  16. <heartbeat>select user()</heartbeat>
  17. <!-- can have multi write hosts -->
  18. <writeHost host="c1" url="192.168.4.55:3306" user="admin"        
  19. password="123456">
  20. //訪問數據庫時，mycat服務鏈接數據庫服務器時使用的用戶名和密碼
  21. <!-- can have multi read hosts -->
  23. </writeHost>
  24. </dataHost>
  27. 指定c2名稱主機對應的ip地址
  28. <dataHost name="c2" maxCon="1000" minCon="10" balance="0"
  29. writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
  30. <heartbeat>select user()</heartbeat>
  31. <!-- can have multi write hosts -->
  32. <writeHost host="c2" url="192.168.4.54:3306" user="admin"        
  33. password="123456">
  34. //訪問數據庫時，mycat服務鏈接數據庫服務器時使用的用戶名和密碼
  35. <!-- can have multi read hosts -->
  37. </writeHost>
  38. </dataHost>

8）添加PATH路徑

  1. [root@mycat conf]# export PATH=/usr/local/mycat/bin:$PATH
  2. [root@mycat conf]# echo "PATH=/usr/local/mycat/bin:$PATH" >> /etc/profile
  3. [root@mycat conf]# source /etc/profile
  4. [root@mycat conf]# echo $PATH
  5. /usr/local/mycat/bin:/usr/local/mycat/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
  6. [root@mycat conf]# which mycat
  7. /usr/local/mycat/bin/mycat

9）啓動服務並查看端口

  1. [root@mycat conf]# mycat start
  2. Starting Mycat-server...
  3. [root@mycat conf]# netstat -antup | grep :8066
  4. tcp6 0 0 :::8066 :::* LISTEN 6421/java
  5. [root@mycat conf]# ps -C java
  6. PID TTY TIME CMD
  7. 6421 ? 00:00:04 java

用admin用戶登陸

  1. [root@client ~]# mysql -h192.168.4.54 -uadmin -p123456
  2. mysql> show processlist;
  3. +----+-------+--------------------+------+---------+------+----------+------------------+
  4. | Id | User | Host | db | Command | Time | State | Info |
  5. +----+-------+--------------------+------+---------+------+----------+------------------+
  6. | 3 | admin | 192.168.4.56:34580 | db2 | Sleep | 80 | | NULL |
  7. | 4 | admin | 192.168.4.56:34570 | db2 | Sleep | 100 | | NULL |
  8. | 5 | admin | 192.168.4.56:34572 | db2 | Sleep | 40 | | NULL |
  9. | 6 | admin | 192.168.4.56:34562 | db2 | Sleep | 30 | | NULL |
  10. | 7 | admin | 192.168.4.56:34564 | db2 | Sleep | 90 | | NULL |
  11. | 8 | admin | 192.168.4.56:34566 | db2 | Sleep | 60 | | NULL |
  12. | 9 | admin | 192.168.4.56:34574 | db2 | Sleep | 70 | | NULL |
  13. | 10 | admin | 192.168.4.56:34576 | db2 | Sleep | 10 | | NULL |
  14. | 11 | admin | 192.168.4.56:34578 | db2 | Sleep | 20 | | NULL |
  15. | 12 | admin | 192.168.4.56:34568 | db2 | Sleep | 50 | | NULL |
  16. | 14 | admin | 192.168.4.51:58354 | NULL | Query | 0 | starting | show processlist |
  17. +----+-------+--------------------+------+---------+------+----------+------------------+
  18. 11 rows in set (0.00 sec)
  22. [root@client ~]# mysql -h192.168.4.55 -uadmin -p123456
  23. mysql> show processlist;
  24. +----+-------+--------------------+------+---------+------+----------+------------------+
  25. | Id | User | Host | db | Command | Time | State | Info |
  26. +----+-------+--------------------+------+---------+------+----------+------------------+
  27. | 3 | root | localhost | NULL | Sleep | 2352 | | NULL |
  28. | 4 | admin | 192.168.4.56:45148 | db1 | Sleep | 2 | | NULL |
  29. | 5 | admin | 192.168.4.56:45150 | db1 | Sleep | 62 | | NULL |
  30. | 6 | admin | 192.168.4.56:45160 | db1 | Sleep | 12 | | NULL |
  31. | 7 | admin | 192.168.4.56:45162 | db1 | Sleep | 92 | | NULL |
  32. | 8 | admin | 192.168.4.56:45152 | db1 | Sleep | 32 | | NULL |
  33. | 9 | admin | 192.168.4.56:45154 | db1 | Sleep | 42 | | NULL |
  34. | 10 | admin | 192.168.4.56:45156 | db1 | Sleep | 22 | | NULL |
  35. | 11 | admin | 192.168.4.56:45158 | db1 | Sleep | 82 | | NULL |
  36. | 12 | admin | 192.168.4.56:45164 | db1 | Sleep | 52 | | NULL |
  37. | 13 | admin | 192.168.4.56:45166 | db1 | Sleep | 72 | | NULL |
  38. | 14 | admin | 192.168.4.51:32796 | NULL | Query | 0 | starting | show processlist |
  39. +----+-------+--------------------+------+---------+------+----------+------------------+
  40. 12 rows in set (0.00 sec)
  42. [root@mycat conf]# ls /usr/local/mycat/logs/
  43. mycat.log mycat.pid wrapper.log        //wrapper.log爲錯誤日誌
  44. [root@mycat conf]# ldconfig -v        //更新加載的模塊

10）客戶端訪問

命令： mysql -hmycat主機的IP -P端口號 -u用戶 -p密碼

  1. [root@clent ~]# mysql -h192.168.4.56 -P8066 -utest -ptest
  2. mysql> show databases;
  3. +----------+
  4. | DATABASE |
  5. +----------+
  6. | TESTDB |
  7. +----------+
  8. 1 row in set (0.00 sec)
  10. mysql> USE TESTDB;
  11. Reading table information for completion of table and column names
  12. You can turn off this feature to get a quicker startup with -A
  14. Database changed
  15. mysql>
  16. mysql> show tables;
  17. +------------------+
  18. | Tables in TESTDB |
  19. +------------------+
  20. | company |
  21. | customer |
  22. | customer_addr |
  23. | employee |
  24. | goods |
  25. | hotnews |
  26. | orders |
  27. | order_items |
  28. | travelrecord |
  29. +------------------+
  30. 9 rows in set (0.00 sec)

11）客戶端測試：

  1. mysql> create table employee(id int not null primary key,name varchar(100),sharding_id int not null);
  2. Query OK, 0 rows affected (0.10 sec)
  4. mysql> insert into employee(id,name,sharding_id) values(1,"bob",10000);
  5. Query OK, 1 row affected (0.03 sec)
  7. mysql> insert into employee(id,name,sharding_id) values(1,"lucy",10010);
  8. Query OK, 1 row affected (0.02 sec)
  10. mysql> select * from employee;
  11. +----+------+-------------+
  12. | id | name | sharding_id |
  13. +----+------+-------------+
  14. | 1 | bob | 10000 |
  15. | 1 | lucy | 10010 |
  16. +----+------+-------------+
  17. 2 rows in set (0.06 sec)

12）在c1上面查看結果

  1. mysql> show databases;
  2. +--------------------+
  3. | Database |
  4. +--------------------+
  5. | information_schema |
  6. | db1 |
  7. | mysql |
  8. | performance_schema |
  9. | sys |
  10. +--------------------+
  11. 5 rows in set (0.00 sec)
  13. mysql> use db1;
  14. Reading table information for completion of table and column names
  15. You can turn off this feature to get a quicker startup with -A
  17. Database changed
  18. mysql> show tables;
  19. +---------------+
  20. | Tables_in_db1 |
  21. +---------------+
  22. | employee |
  23. +---------------+
  24. 1 row in set (0.00 sec)
  26. mysql> select * from employee;        //查看結果
  27. +----+------+-------------+
  28. | id | name | sharding_id |
  29. +----+------+-------------+
  30. | 1 | bob | 10000 |
  31. +----+------+-------------+
  32. 1 row in set (0.00 sec)

13）在c2上面查看結果

  1. mysql> show databases;
  2. +--------------------+
  3. | Database |
  4. +--------------------+
  5. | information_schema |
  6. | db2 |
  7. | mysql |
  8. | performance_schema |
  9. | sys |
  10. +--------------------+
  11. 5 rows in set (0.00 sec)
  13. mysql> use db2;
  14. Reading table information for completion of table and column names
  15. You can turn off this feature to get a quicker startup with -A
  17. Database changed
  18. mysql> show tables;
  19. +---------------+
  20. | Tables_in_db2 |
  21. +---------------+
  22. | employee |
  23. +---------------+
  24. 1 row in set (0.00 sec)
  26. mysql> select * from employee;
  27. +----+------+-------------+
  28. | id | name | sharding_id |
  29. +----+------+-------------+
  30. | 1 | lucy | 10010 |
  31. +----+------+-------------+
  32. 1 row in set (0.00 sec)
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程