MyCat實現讀寫分離

MyCat

官網：http://www.mycat.io/

 

數據庫分庫

垂直拆分

垂直分庫按照業務將項目中的數據庫表分紅不少庫，好比：商品庫、用戶庫、訂單庫、系統庫……

 

水平拆分

水平拆分也叫數據分片

MyCat簡介

MyCat是一個數據庫代理中間件, 數據庫分片、讀寫分離等等可使用mycat來解決,前身是阿里開源的一個cobar的項目

目標

低成本的將現有的單機數據庫和應用平滑遷移到「雲」端，解決數據存儲和業務規模迅速增加狀況下的數據瓶頸問題。

如圖所示：MyCAT使用Mysql的通信協議模擬成了一個Mysql服務器，並創建了完整的Schema（數據庫）、Table （數據表）、User(用戶)的邏輯模型，並將這套邏輯模型映射到後端的存儲節點DataNode（MySQL Instance）上的真實物理庫中，這樣一來，全部能使用Mysql的客戶端以及編程語言都能將MyCAT當成是Mysql Server來使用，沒必要開發新的客戶端協議。

MyCAT的關鍵特性支持 SQL 92標準
支持Mysql集羣，能夠做爲Proxy使用

支持JDBC鏈接ORACLE、DB二、SQL Server，將其模擬爲MySQL  Server使用

支持galera for mysql集羣，percona-cluster或者mariadb cluster，提供高可用性數據分片集羣

自動故障切換，高可用性

支持讀寫分離，支持Mysql雙主多從，以及一主多從的模式

支持全局表，數據自動分片到多個節點，用於高效表關聯查詢

支持獨有的基於E-R 關係的分片策略，實現了高效的表關聯查詢

多平臺支持，部署和實施簡單      

MyCAT架構  

MyCAT支持水平分片與垂直分片：

水平分片：一個表格的數據分割到多個節點上，按照行分隔。

垂直分片：一個數據庫中多個表格A，B，C，A存儲到節點1上，B存儲到節點2上，C存儲到節點3上。

分片策略
 

MyCAT經過定義表的分片規則來實現分片，每一個表能夠捆綁一個分片規則，每一個分片規則指定一個分片字段並綁定一個函數，來實現動態分片算法。

 

一、Schema：邏輯庫，與MySQL中的Database（數據庫）對應，一個邏輯庫中定義了所包括的Table。

二、Table：表，即物理數據庫中存儲的某一張表，與傳統數據庫不一樣，這裏的表格須要聲明其所存儲的邏輯數據節點DataNode。在此能夠指定表的分片規則。

三、DataNode：MyCAT的邏輯數據節點，是存放table的具體物理節點，也稱之爲分片節點，經過DataSource來關聯到後端某個具體數據庫上

四、DataSource：定義某個物理庫的訪問地址，用於捆綁到Datanode上

 

Mycat的下載及安裝
1.        下載：

wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

2.        解壓：

cd /usr/local/

tar -zxvf/root/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

3.        啓動：

/usr/local/mycat/bin/mycat start

/usr/local/mycat/bin/mycat status

4.        查看進程和端口

ps -ef | grep mycat

netstat -tunlp | grep 8066

5.        使用Navcat鏈接mycat

 

注意：可使用mysql的客戶端直接鏈接mycat服務。默認服務端口爲8066

 

Mycat分片
 

需求
把商品表分片存儲到三個數據節點上。

 

環境規劃
mysql節點1環境

操做系統版本 : centos7.2

數據庫版本 : mysql-5.7

mycat版本 ：1.6 release

ip:192.168.25.134

 

mysql節點2環境

操做系統版本 : centos7.2

數據庫版本 : mysql-5.7

mycat版本 ：1.6 release

數據庫名 : db一、db3

ip:192.168.25.134

 

 

mysql節點3環境

操做系統版本 : centos7.2

數據庫版本 : mysql-5.7

mycat版本 ：1.6 release

數據庫名 : db2

ip:192.168.25.166

 

MyCat安裝到節點1上（須要安裝jdk）

 

使用二進制壓縮包安裝mysql
 

1.        下載mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz

2.        解壓

cd /usr/local/

tar -zxvf /root/mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz

         ln-s mysql-5.7.13-linux-glibc2.5-x86_64/ mysql

3.        建立mysql用戶和組

groupadd mysql

useradd  mysql -gmysql -s /sbin/nologin -M

4.        初始化數據庫

cd /usr/local/mysql/bin/

./mysqld --initialize --basedir=/usr/local/mysql/--datadir=/usr/local/mysql/data --user=mysql

5.        修改mysql配置文件：

vim /etc/my.cnf

mkdir –p /var/log/mysql/

chmod -R777  /var/log/mysql/

chmod -R777  /usr/local/mysql

 

6.        啓動數據庫：

mkdir -p /var/log/mariadb

/usr/local/mysql/bin/mysqld_safe  --skip-grant-tables  &

7.        使用mysql命令行客戶端鏈接數據庫

./mysql -uroot-p'72VZp.rxRKpQ'  -S/usr/local/mysql/mysql.sock

8.        登陸以後修改密碼

update mysql.user setauthentication_string=PASSWORD('123456') where User='root';

flush privileges;

quit;

9.        從新登陸

./mysql -uroot  -S /usr/local/mysql/mysql.sock

SET PASSWORD = PASSWORD('123456')

update mysql.user set host='%' where host='localhost';

flush privileges;

 

10.    使用navcat工具鏈接mysql數據庫

 

 

注意：初始化mysql以後隨機產生一個密碼

 

 

配置schema.xml
Schema.xml做爲MyCat中重要的配置文件之一，管理着MyCat的邏輯庫、表、分片規則、DataNode以及DataSource。弄懂這些配置，是正確使用MyCat的前提。這裏就一層層對該文件進行解析。

 

schema 標籤用於定義MyCat實例中的邏輯庫

Table 標籤訂義了MyCat中的邏輯表

dataNode 標籤訂義了MyCat中的數據節點，也就是咱們一般說所的數據分片。

dataHost標籤在mycat邏輯庫中也是做爲最底層的標籤存在，直接定義了具體的數據庫實例、讀寫分離配置和心跳語句。

注意：如果LINUX版本的MYSQL，則須要設置爲Mysql大小寫不敏感，不然可能會發生表找不到的問題。

在MySQL的配置文件中my.ini [mysqld] 中增長一行

　　lower_case_table_names = 1

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://org.opencloudb/">

  <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

    <!-- auto sharding by id (long) -->

    <table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

    <table name="TB_USER" primaryKey="ID" type="global" dataNode="dn1,dn2" />

  </schema>

  <!-- dataNode是邏輯的，與dataHost關聯，dataHost代理物理的數據庫-->

  <dataNode name="dn1" dataHost="localhost1" database="db1" />

  <dataNode name="dn2" dataHost="localhost2" database="db2" />

  <dataNode name="dn3" dataHost="localhost1" database="db3" />

  <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">

    <heartbeat>select user()</heartbeat>

    <!-- can have multi write hosts -->

    <writeHost host="hostM1" url="172.18.14.113:3306" user="root" password="123456">

      <!-- can have multi read hosts -->

    </writeHost>

  </dataHost>

  <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">

    <heartbeat>select user()</heartbeat>

    <!-- can have multi write hosts -->

    <writeHost host="hostM1" url="172.18.14.150:3306" user="root" password="123456">

      <!-- can have multi read hosts -->

    </writeHost>

  </dataHost>

</mycat:schema>

配置server.xml

server.xml幾乎保存了全部mycat須要的系統配置信息。最經常使用的是在此配置用戶名、密碼及權限。

<user name="test">

  <property name="password">test</property>

  <property name="schemas">TESTDB</property>

  <property name="readOnly">true</property>

</user>

配置路由規則rule.xml
rule.xml裏面就定義了咱們對錶進行拆分所涉及到的規則定義。咱們能夠靈活的對錶使用不一樣的分片算法，或者對錶使用相同的算法但具體的參數不一樣。這個文件裏面主要有tableRule和function這兩個標籤。在具體使用過程當中能夠按照需求添加tableRule

和function。

此配置文件能夠不用修改，使用默認便可。

測試分片

配置完畢後，從新啓動mycat。使用mysql客戶端鏈接mycat，建立表。

-- ----------------------------

-- Table structure for tb_item

-- ----------------------------

DROP TABLE IF EXISTS `tb_item`;

CREATE TABLE `tb_item` (

  `id` bigint(20) NOT NULL COMMENT '商品id，同時也是商品編號',

  `title` varchar(100) NOT NULL COMMENT '商品標題',

  `sell_point` varchar(500) DEFAULT NULL COMMENT '商品賣點',

  `price` bigint(20) NOT NULL COMMENT '商品價格，單位爲：分',

  `num` int(10) NOT NULL COMMENT '庫存數量',

  `barcode` varchar(30) DEFAULT NULL COMMENT '商品條形碼',

  `image` varchar(500) DEFAULT NULL COMMENT '商品圖片',

  `cid` bigint(10) NOT NULL COMMENT '所屬類目，葉子類目',

  `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品狀態，1-正常，2-下架，3-刪除',

  `created` datetime NOT NULL COMMENT '建立時間',

  `updated` datetime NOT NULL COMMENT '更新時間',

  PRIMARY KEY (`id`),

  KEY `cid` (`cid`),

  KEY `status` (`status`),

  KEY `updated` (`updated`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';

 

-- ----------------------------

-- Table structure for tb_user

-- ----------------------------

DROP TABLE IF EXISTS `tb_user`;

CREATE TABLE `tb_user` (

  `id` bigint(20) NOT NULL AUTO_INCREMENT,

  `username` varchar(50) NOT NULL COMMENT '用戶名',

  `password` varchar(32) NOT NULL COMMENT '密碼，加密存儲',

  `phone` varchar(20) DEFAULT NULL COMMENT '註冊手機號',

  `email` varchar(50) DEFAULT NULL COMMENT '註冊郵箱',

  `created` datetime NOT NULL,

  `updated` datetime NOT NULL,

  PRIMARY KEY (`id`),

  UNIQUE KEY `username` (`username`) USING BTREE,

  UNIQUE KEY `phone` (`phone`) USING BTREE,

  UNIQUE KEY `email` (`email`) USING BTREE

) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用戶表';

插入數據；

分片測試
因爲配置的分片規則爲「auto-sharding-long」，因此mycat會根據此規則自動分片。

每一個datanode中保存必定數量的數據。根據id進行分片

經測試id範圍爲：

Datanode1：1~5000000

Datanode2：5000000~10000000

Datanode3：10000001~15000000

 

當15000000以上的id插入時報錯：

[Err] 1064 - can't find any valid datanode:TB_ITEM -> ID -> 15000001

此時須要添加節點了。

 

 

Mycat讀寫分離
數據庫讀寫分離對於大型系統或者訪問量很高的互聯網應用來講，是必不可少的一個重要功能。對於MySQL來講，標準的讀寫分離是主從模式，一個寫節點Master後面跟着多個讀節點，讀節點的數量取決於系統的壓力，一般是1-3個讀節點的配置

Mycat讀寫分離和自動切換機制，須要mysql的主從複製機制配合。

 

一、主DB server和從DB server數據庫的版本一致

二、主DB server和從DB server數據庫數據一致[ 這裏就會能夠把主的備份在從上還原，也能夠直接將主的數據目錄拷貝到從的相應數據目錄]

三、主DB server開啓二進制日誌,主DB server和從DB server的server_id都必須惟一

 

 

MySQL-Master配置：
第一步：修改my.conf文件：

在[mysqld]段下添加：
 

binlog-do-db=db1

binlog-ignore-db=mysql

#啓用二進制日誌

log-bin=mysql-bin

#服務器惟一ID，通常取IP最後一段

server-id=134

第二步：重啓mysql服務

service mysqld restart

第三步：創建賬戶並受權slave

mysql>GRANT FILE ON *.* TO 'backup'@'%'IDENTIFIED BY '123456';

mysql>GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* to 'backup'@'%' identified by '123456';

#通常不用root賬號，「%」表示全部客戶端均可能連，只要賬號，密碼正確，此處可用具體客戶端IP代替，如192.168.145.226，增強安全。

 

刷新權限

mysql> FLUSH PRIVILEGES;

 

查看mysql如今有哪些用戶

mysql>select user,host from mysql.user;

 

第四步：查詢master的狀態

mysql> show master status;

+------------------+----------+--------------+------------------+-------------------+

| File             | Position | Binlog_Do_DB |Binlog_Ignore_DB | Executed_Gtid_Set |

+------------------+----------+--------------+------------------+-------------------+

| mysql-bin.000001 |      120 | db1          | mysql            |                   |

+------------------+----------+--------------+------------------+-------------------+

1 row in set

 

MySQL-Slave配置
 

第一步：修改my.conf文件
 

[mysqld]

server-id=166

第二步：配置從服務器

mysql>change master tomaster_host='192.168.25.134',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=120

 

注意語句中間不要斷開，master_port爲mysql服務器端口號(無引號)，master_user爲執行同步操做的數據庫帳戶，「120」無單引號(此處的120就是show master status 中看到的position的值，這裏的mysql-bin.000001就是file對應的值)。

 

第二步：啓動從服務器複製功能

Mysql>start slave;

 

第三步：檢查從服務器複製功能狀態：

mysql> show slave status

 

……………………(省略部分)

Slave_IO_Running: Yes //此狀態必須YES

Slave_SQL_Running: Yes //此狀態必須YES

……………………(省略部分)

 

注：Slave_IO及Slave_SQL進程必須正常運行，即YES狀態，不然都是錯誤的狀態(如：其中一個NO均屬錯誤)。

 

錯誤處理：

若是出現此錯誤：

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

由於是mysql是克隆的系統因此mysql的uuid是同樣的，因此須要修改。

解決方法：

刪除/var/lib/mysql/auto.cnf文件，從新啓動服務。

 

以上操做過程，從服務器配置完成。

 

Mycat配置
 

Mycat 1.4 支持MySQL主從複製狀態綁定的讀寫分離機制，讓讀更加安全可靠，配置以下：
 

<dataNode name="dn1" dataHost="localhost1" database="db1" />

    <dataNode name="dn2" dataHost="localhost1" database="db2" />

    <dataNode name="dn3" dataHost="localhost1" database="db3" />

    <dataHost name="localhost1" maxCon="1000" minCon="10"balance="1"

       writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">

       <heartbeat>show slave status</heartbeat>

       <writeHost host="hostM" url="192.168.25.134:3306" user="root"

           password="root">

           <readHost host="hostS" url="192.168.25.166:3306" user="root"

           password="root" />

       </writeHost>

    </dataHost>

(1)設置 balance="1"與writeType="0"

Balance參數設置：

1. balance=「0」, 全部讀操做都發送到當前可用的writeHost上。

2. balance=「1」，全部讀操做都隨機的發送到readHost。

3. balance=「2」，全部讀操做都隨機的在writeHost、readhost上分發

WriteType參數設置：

1.writeType=「0」, 全部寫操做都發送到可用的writeHost上。

2. writeType=「1」，全部寫操做都隨機的發送到readHost。

3. writeType=「2」，全部寫操做都隨機的在writeHost、readhost分上發。

 「readHost是從屬於writeHost的，即意味着它從那個writeHost獲取同步數據，所以，當它所屬的writeHost宕機了，則它也不會再參與到讀寫分離中來，即「不工做了」，這是由於此時，它的數據已經「不可靠」了。基於這個考慮，目前mycat 1.3和1.4版本中，若想支持MySQL一主一從的標準配置，而且在主節點宕機的狀況下，從節點還能讀取數據，則須要在Mycat裏配置爲兩個writeHost並設置banlance=1。」

(2)設置 switchType="2"與slaveThreshold="100"

switchType 目前有三種選擇：

-1：表示不自動切換

1 ：默認值，自動切換

2 ：基於MySQL主從同步的狀態決定是否切換

「Mycat心跳檢查語句配置爲 show slave status ，dataHost 上定義兩個新屬性： switchType="2" 與slaveThreshold="100"，此時意味着開啓MySQL主從複製狀態綁定的讀寫分離與切換機制。Mycat心跳機制經過檢測 show slave status 中的"Seconds_Behind_Master", "Slave_IO_Running","Slave_SQL_Running" 三個字段來肯定當前主從同步的狀態以及Seconds_Behind_Master主從複製時延。