MySQL 高可用：mysql+mycat實現數據庫分片（分庫分表）

時間  2019-11-18
標籤 mysql 可用 mysql+mycat mycat 實現 數據庫 分片 分庫 分表 欄目 MySQL 简体版
原文   原文鏈接

本文引用於http://blog.csdn.net/kk185800961/article/details/51147029html

MySQL 高可用：mysql+mycat實現數據庫分片（分庫分表）前端

 

什麼是MYCAT：java

一個完全開源的，面向企業應用開發的大數據庫集羣node

支持事務、ACID、能夠替代MySQL的增強版數據庫mysql

一個能夠視爲MySQL集羣的企業級數據庫，用來替代昂貴的Oracle集羣linux

一個融合內存緩存技術、NoSQL技術、HDFS大數據的新型SQL Servergit

結合傳統數據庫和新型分佈式數據倉庫的新一代企業級數據庫產品github

一個新穎的數據庫中間件產品web

 

 Mycat關鍵特性 ：

支持SQL92標準sql

遵照Mysql原生協議，跨語言，跨平臺，跨數據庫的通用中間件代理。

基於心跳的自動故障切換，支持讀寫分離，支持MySQL主從，以及galera cluster集羣。

支持Galera for MySQL集羣，Percona Cluster或者MariaDB cluster

基於Nio實現，有效管理線程，高併發問題。

支持數據的多片自動路由與聚合，支持sum,count,max等經常使用的聚合函數,支持跨庫分頁。

支持單庫內部任意join，支持跨庫2表join，甚至基於caltlet的多表join。

支持經過全局表，ER關係的分片策略，實現了高效的多表join查詢。

支持多租戶方案。

支持分佈式事務（弱xa）。

支持全局序列號，解決分佈式下的主鍵生成問題。

分片規則豐富，插件化開發，易於擴展。

強大的web，命令行監控。

支持前端做爲mysq通用代理，後端JDBC方式支持Oracle、DB二、SQL Server 、 mongodb 、巨杉。

支持密碼加密

支持服務降級

支持IP白名單

支持SQL黑名單、sql注入攻擊攔截

支持分表（1.6）

集羣基於ZooKeeper管理，在線升級，擴容，智能優化，大數據處理（2.0開發版）。

 

（官方說明參考：Mycat 數據庫分庫分表中間件 ）

 

JDK 下載（建議要求jdk7及以上）：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gz


MyCAT 相關：

Mycat 捐贈地址：http://www.mycat.io/donate.html

Mycat 官斱網站：http://www.mycat.io/

Mycat 源碼：https://github.com/MyCATApache/Mycat-Server

Mycat 下載地址：https://github.com/MyCATApache/Mycat-download


 

既然 mycat  那麼強大，那就測試看看：

 

#測試環境：

# 有3張表 users,item,item_detail (item 的子表) 和 3 個數據庫 db01,db02,db03

# 表 users 存儲在數據庫 db01, 表 item 和 item_detail 分佈存儲在數據 db01 和 db02 

# 如今在3個數據庫都建立相同的表

[sql]  view plain  copy
 
  1. create database db01;  
  2. create database db02;  
  3. create database db03;  
  4.   
  5. CREATE TABLE users (  
  6.     id INT NOT NULL AUTO_INCREMENT,  
  7.     name varchar(50) NOT NULL default '',  
  8.     indate DATETIME NOT NULL default '0000-00-00 00:00:00',  
  9.     PRIMARY KEY (id)  
  10. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  
  11.   
  12. CREATE TABLE item (  
  13.     id INT NOT NULL AUTO_INCREMENT,  
  14.     value INT NOT NULL default 0,  
  15.     indate DATETIME NOT NULL default '0000-00-00 00:00:00',  
  16.     PRIMARY KEY (id)  
  17. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  
  18.   
  19. CREATE TABLE item_detail (  
  20.     id INT NOT NULL AUTO_INCREMENT,  
  21.     value INT NOT NULL default 0,  
  22.     name varchar(50) NOT NULL default '',  
  23.     item_id INT NOT NULL,  
  24.     PRIMARY KEY (id),  
  25.     key (item_id)  
  26. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  



# JDK 安裝配置

 

[plain]  view plain  copy
 
  1. cd /usr/local/src  
  2. tar xvf jdk-7u80-linux-i586.tar.gz  
  3. mkdir -p /usr/local/java  
  4. mv /usr/local/src/jdk1.7.0_80 /usr/local/java/  
  5. chown -R root:root /usr/local/java  
  6. cd /usr/local/java/  


#配置環境變量

 

 

[plain]  view plain  copy
 
  1. vi /etc/profile   
  2. vi ~/.bash_profile  
  3.   
  4. export JAVA_HOME=/usr/local/java/jdk1.7.0_80  
  5. export PATH=$PATH:$JAVA_HOME/bin  
  6. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  


#設置生效（最好重啓系統）

 

 

[plain]  view plain  copy
 
  1. source /etc/profile  
  2. source ~/.bash_profile  


#測試是否安裝成功

 

 

[plain]  view plain  copy
 
  1. [root@server1 ~]# java -version  
  2. java version "1.7.0_80"  
  3. Java(TM) SE Runtime Environment (build 1.7.0_80-b15)  
  4. Java HotSpot(TM) Client VM (build 24.80-b11, mixed mode)  



 

# Mycat 安裝配置

 

[plain]  view plain  copy
 
  1. cd /usr/local/src  
  2. tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz   
  3. mv /usr/local/src/mycat /usr/local/  
  4.   
  5. groupadd mycat  
  6. useradd -g mycat mycat  
  7. passwd mycat  
  8. chown -R mycat.mycat /usr/local/mycat  


#添加環境變量

 

 

[plain]  view plain  copy
 
  1. vi /etc/profile  
  2. vi ~/.bash_profile  
  3.   
  4. export MYCAT_HOME=/usr/local/mycat  


#設置生效（最好重啓系統）

 

 

[plain]  view plain  copy
 
  1. source /etc/profile  
  2. source ~/.bash_profile  


#服務器名和IP綁定

 

 

[plain]  view plain  copy
 
  1. vi /etc/hosts  
  2. 192.168.100.50  server1  
  3. 127.0.0.1       server1  


# 設置 wrapper.java.command 的java 路徑

 

 ( 同時可設置 -Xmx 和 -Xms ，參考： mycat 啓動失敗 The specified size exceeds the maximum representable size)

 

[plain]  view plain  copy
 
  1. vi /usr/local/mycat/conf/wrapper.conf  
  2.   
  3. wrapper.java.command=%JAVA_HOME%/bin/java  


#配置 server.xml 和 schema.xml  (本案例配置信息在文章底部)

 

 

[plain]  view plain  copy
 
  1. vi /usr/local/mycat/conf/server.xml  
  2. vi /usr/local/mycat/conf/schema.xml  


#啓動mycat服務 ./mycat { console | start | stop | restart | status | dump }

 

 

[plain]  view plain  copy
 
  1. /usr/local/mycat/bin/mycat console  

 

[plain]  view plain  copy
 
  1. #mycat 進程  
  2. ps -ef | grep mycat  
  3.   
  4. #日子信息  
  5. tail -20 /usr/local/mycat/logs/wrapper.log  



 

測試：

#訪問 mycat   (憑據參考 /usr/local/mycat/conf/server.xml)

[plain]  view plain  copy
 
  1. mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB  

 

[sql]  view plain  copy
 
  1. mysql> show databases;  
  2. +----------+  
  3. | DATABASE |  
  4. +----------+  
  5. | TESTDB   |   
  6. +----------+  
  7.   
  8. mysql> show tables;  
  9. +------------------+  
  10. | Tables in TESTDB |  
  11. +------------------+  
  12. | item             |   
  13. | item_detail      |   
  14. | users            |   
  15. +------------------+  


#在 mycat 中插入數據並查詢：

 

 

[sql]  view plain  copy
 
  1. insert into users(name,indate) values('kk',now());  
  2. insert into item(id,value,indate) values(1,100,now());  
  3. insert into item_detail(value,name,item_id) values('pad',40,1);  
  4. insert into item_detail(value,name,item_id) values('phone',50,1);  
  5.   
  6. insert into item(id,value,indate) values(999,100,now());  
  7. insert into item_detail(value,name,item_id) values('pad',40,999);  
  8. insert into item_detail(value,name,item_id) values('phone',50,999);  
[sql]  view plain  copy
 
  1. mysql> select * from users;  
  2. +----+------+---------------------+  
  3. | id | name | indate              |  
  4. +----+------+---------------------+  
  5. |  1 | kk   | 2016-04-13 06:28:00 |   
  6. +----+------+---------------------+  
  7.   
  8. mysql> select * from item;  
  9. +-----+-------+---------------------+  
  10. | id  | value | indate              |  
  11. +-----+-------+---------------------+  
  12. | 999 |   100 | 2016-04-13 06:34:12 |   
  13. |   1 |   100 | 2016-04-13 06:32:58 |   
  14. +-----+-------+---------------------+  
  15.   
  16. mysql> select * from item_detail;  
  17. +----+-------+------+---------+  
  18. | id | value | name | item_id |  
  19. +----+-------+------+---------+  
  20. |  1 |     0 | 40   |     999 |   
  21. |  2 |     0 | 50   |     999 |   
  22. |  1 |     0 | 40   |       1 |   
  23. |  2 |     0 | 50   |       1 |   
  24. +----+-------+------+---------+  



#打開另外一個終端，使用mysql帳號登錄訪問查看錶狀況

 

 

[plain]  view plain  copy
 
  1. mysql -uroot -ptest -p  


#具體的表數據存儲狀況：

 

 

[sql]  view plain  copy
 
  1. -----------------------------------------  
  2. mysql> select * from db01.users;  
  3. +----+------+---------------------+  
  4. | id | name | indate              |  
  5. +----+------+---------------------+  
  6. |  1 | kk   | 2016-04-13 06:28:00 |   
  7. +----+------+---------------------+  
  8.   
  9. mysql> select * from db02.users;  
  10.   
  11. mysql> select * from db03.users;  
  12.   
  13. -----------------------------------------  
  14.   
  15. mysql> select * from db01.item;  
  16.   
  17. mysql> select * from db02.item;  
  18. +-----+-------+---------------------+  
  19. | id  | value | indate              |  
  20. +-----+-------+---------------------+  
  21. | 999 |   100 | 2016-04-13 06:34:12 |   
  22. +-----+-------+---------------------+  
  23.   
  24. mysql> select * from db03.item;  
  25. +----+-------+---------------------+  
  26. | id | value | indate              |  
  27. +----+-------+---------------------+  
  28. |  1 |   100 | 2016-04-13 06:32:58 |   
  29. +----+-------+---------------------+  
  30.   
  31. -----------------------------------------  
  32.   
  33. mysql> select * from db01.item_detail;  
  34.   
  35. mysql> select * from db02.item_detail;  
  36. +----+-------+------+---------+  
  37. | id | value | name | item_id |  
  38. +----+-------+------+---------+  
  39. |  1 |     0 | 40   |     999 |   
  40. |  2 |     0 | 50   |     999 |   
  41. +----+-------+------+---------+  
  42.   
  43. mysql> select * from db03.item_detail;  
  44. +----+-------+------+---------+  
  45. | id | value | name | item_id |  
  46. +----+-------+------+---------+  
  47. |  1 |     0 | 40   |       1 |   
  48. |  2 |     0 | 50   |       1 |   
  49. +----+-------+------+---------+  

 

 

測試完成！！~數據進行了分庫分表！
------------------------------------------------------------------------------------

------------------------------------------------------------------------------------

# server.xml 和 schema.xml 配置狀況

 

[plain]  view plain  copy
 
  1. # vi /usr/local/mycat/conf/server.xml  
  2.   
  3. <?xml version="1.0" encoding="UTF-8"?>  
  4. <!DOCTYPE mycat:server SYSTEM "server.dtd">  
  5. <mycat:server xmlns:mycat="http://org.opencloudb/">  
  6.         <system>  
  7.             <!--   
  8.                 <property name="processors">32</property>  
  9.                 <property name="processorExecutor">32</property>   
  10.                 <property name="bindIp">0.0.0.0</property>   
  11.                 <property name="frontWriteQueueSize">4096</property>  
  12.                 <property name="idleTimeout">300000</property>  
  13.                 <property name="mutiNodePatchSize">100</property>  
  14.             -->  
  15.                 <property name="defaultSqlParser">druidparser</property>  
  16.                 <property name="mutiNodeLimitType">1</property>  
  17.                 <property name="serverPort">8066</property>  
  18.                 <property name="managerPort">9066</property>   
  19.         </system>  
  20.         <!-- 任意設置登錄 mycat 的用戶名,密碼,數據庫  -->  
  21.         <user name="test">  
  22.                 <property name="password">test</property>  
  23.                 <property name="schemas">TESTDB</property>  
  24.         </user>  
  25.   
  26.         <user name="user">  
  27.                 <property name="password">user</property>  
  28.                 <property name="schemas">TESTDB</property>  
  29.                 <property name="readOnly">true</property>  
  30.         </user>  
  31.         <!--   
  32.         <quarantine>   
  33.            <whitehost>  
  34.               <host host="127.0.0.1" user="mycat"/>  
  35.               <host host="127.0.0.2" user="mycat"/>  
  36.            </whitehost>  
  37.        <blacklist check="false"></blacklist>  
  38.         </quarantine>  
  39.         -->  
  40. </mycat:server>  

 

[plain]  view plain  copy
 
  1. # vi /usr/local/mycat/conf/schema.xml  
  2.   
  3. <?xml version="1.0"?>  
  4. <!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
  5. <mycat:schema xmlns:mycat="http://org.opencloudb/">  
  6.   
  7.     <!-- 設置表的存儲方式.schema name="TESTDB" 與 server.xml中的 TESTDB 設置一致  -->  
  8.     <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">  
  9.         <table name="users" primaryKey="id" type="global" dataNode="node_db01" />  
  10.   
  11.         <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">  
  12.                 <childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />  
  13.         </table>  
  14.     </schema>  
  15.   
  16.     <!-- 設置dataNode 對應的數據庫,及 mycat 鏈接的地址dataHost -->  
  17.     <dataNode name="node_db01" dataHost="dataHost01" database="db01" />  
  18.     <dataNode name="node_db02" dataHost="dataHost01" database="db02" />  
  19.     <dataNode name="node_db03" dataHost="dataHost01" database="db03" />  
  20.   
  21.     <!-- mycat 邏輯主機dataHost對應的物理主機.其中也設置對應的mysql登錄信息 -->  
  22.     <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">  
  23.             <heartbeat>select user()</heartbeat>  
  24.             <writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>  
  25.     </dataHost>  
  26. </mycat:schema>  



 

其餘參考：

http://www.csdn.net/article/2015-07-16/2825228 （原理及應用）

http://www.songwie.com/articlelist/50（理論和實踐 寫的好）

http://ly.blog.itpub.net/29733787/viewspace-2049139/（示例）  MyCAT安裝使用及簡單測試 

http://www.cnblogs.com/ivictor/p/5111495.html（示例）  MyCAT簡易入門

http://www.2cto.com/database/201503/385641.html（示例） Mycat水平分表，垂直分表實踐（2）

http://www.51testing.com/html/34/369434-3686088.html（示例）使用Mycat 作簡單的讀寫分離(一)

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程