數據庫中間件DBLE學習(二) 學習配置schema.xml

時間  2019-12-28
標籤 數據庫 中間件 dble 學習 配置 schema.xml schema xml 欄目 SQL 简体版
原文   原文鏈接

前言

一邊有一個常常引誘我讓我「娛樂至死」的視頻，還有一個不停「鞭策「我讓我快點學習的大BOSS。正是有這兩種極端的愛才讓我經常在自信中明白本身努力的方向。嗯,"人間不值得"！node

SCHEMA.XML介紹

上一篇寫了：數據庫中間件DBLE學習(一) 基本介紹和快速搭建，主要介紹快速安裝。在安裝的過程當中，咱們配置了schema.xml文件。schema.xml是一個比較重要的文件。該文件提供了邏輯庫，邏輯表，分片規則，數據分片，物理數據庫等配置。它主要有如下幾個標籤組成。mysql

  • schema標籤，主要是邏輯庫和邏輯表的配置，其中邏輯表又有多種類型，好比：全局表、分片表、ER分片表、非分片表等。
  • dataNode標籤，主要定義了數據分片存放的節點，一個dataNode標籤每每就對應着一個數據分片。
  • dataHost標籤，主要定義了物理數據庫及主從讀寫分離的配置。

實戰SCHEMA.XML配置

接下來咱們來實戰一下，實戰就拿經典PRODUCT表,ORDERS訂單表來作實驗。前面曾經介紹過邏輯表拆分能夠有不少種類型。首先咱們先規劃一下，假設咱們是一家新的電商公司，在電商平臺上賣自家公司生產的商品，咱們的商品總共就5-6種，但擋不住客戶對咱們生產的商品的喜好，款款都是爆款啊，一經發售訂單量就驚人。那麼咱們怎麼來拆分庫表呢？算法

  • PRODUCTS產品表，就賣幾款爆品，咱們要把它作成全局表。也就是每一個分片上都有這個PRODUCTS產品表的數據。這樣不會有多大的消耗，畢竟這個表數據量小。也比較方便和分片表進行關聯。
  • ORDERS訂單表，有上千萬的訂單。這個數據量比較大，咱們要把ORDERS表作成分片表。PRODUCTS產品表和ORDERS表存在一對多的關係。咱們能夠按照order_id來進行取模分片。這樣不會有數據過熱的問題，而且產品表是小表在每一個分片上都有，咱們能很是方便的使用產品表和訂單表進行關聯。

說這麼多，不如來張圖給你們看一下。
sql

如圖所示，應用直接鏈接數據庫中間件，操做邏輯庫testdb，邏輯表PRODUCTS和ORDERS。而上述邏輯庫和邏輯表對應存放在物理數據庫主機A和主機B上。MySQL主機A上有分片dn1，MySQL主機B上有分片dn2。dn1上存儲了全局表PRODUCTS和按order_id取模的ORDERS表1。dn2上存儲了全局表PRODUCTS和按order_id取模的ORDERS表2。數據庫

整個脈絡理清了，這是咱們的配置環境。bash

服務器 IP地址 描述
DBLE服務器 192.168.56.185 DBLE實例，數據庫中間件，負責接收SQL進行路由分發
MySQL A服務器 192.168.56.181 物理實例A，有db_1數據庫
MySQL B1服務器主 192.168.56.182 物理實例B，有db_2數據庫
MySQL B2服務器從 192.168.56.183 物理實例B的從庫

物理MySQL環境配置

安裝MySQL服務器A和MySQL服務器B的主從環境。而後在這兩套物理數據庫上都建立Buddy用戶。服務器

create user 'buddy'@'%' identified by '123456';
GRANT ALL PRIVILEGES ON *.* TO 'buddy'@'%' IDENTIFIED BY '123456';

配置schema標籤

進入dble的conf文件夾下配置schema.xml文件。首先我們配置schema標籤。主要配置內容以下：app

<schema name="testdb">
        <!--er tables-->
        <table name="orders" primaryKey="order_id" dataNode="dn1,dn2" rule="rule_mod"/>
        <!--global  tables-->
        <table name="products" primaryKey="product_id" type="global" dataNode="dn1,dn2"/>
    </schema>
  • sehama標籤
對邏輯庫的定義，name指定了 邏輯庫的名字。
  • table標籤
對錶的定義，name指定了表的名字，dataNode指定這張表涉及的數據節點，這裏兩張表都指定的是dn1,dn2。rule指定了分片的規則，這裏是取模算法。若是是全局表須要在type屬性列聲明爲global。

配置dataNode標籤

<dataNode name="dn1" dataHost="dataHost1" database="db_1"/>
<dataNode name="dn2" dataHost="dataHost2" database="db_2"/>
  • dataNode標籤
name指定的是數據分片節點名稱，dataHost指定對應的數據庫實例，database對在mysql物理實例中的schema。

配置dataHost標籤

<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="192.168.56.181:3306" user="buddy" password="buddy">
    </writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="192.168.56.182:3306" user="buddy" password="buddy">
        <readHost host="hostS2" url="192.168.56.183:3306" user="buddy" password="buddy"/>
    </writeHost>
</dataHost>
  • dataHost標籤
指定了數據庫實例，這裏name表明數據庫實例的名稱。maxCon定於了最大鏈接數，minCon定義了空閒時保有的最小鏈接數。balance是指讀取操做的負載均衡模式，爲0則不作均衡。switchType表明了寫操做的高可用切換類型。等於-1則表示不自動切換。slaveThreshold指定了指定主從延遲的閥值，爲100。該配置主要與讀數據時的負載均衡有關，它會先取show slave status中的Seconds_Behind_Master值，若是該值大於slaveThreshold，則讀取的時候就會過濾掉這個slave。防止讀到舊的數據，影響前臺的業務。
  • heartbeat標籤
指定心跳檢測，這裏心跳檢測的語句是show slave status
  • writeHost標籤
指定寫入節點。host是寫節點的名稱。url指定寫入節點的ip和端口號。user指定寫節點數據庫的用戶名，password指定寫節點數據庫的密碼。
  • readHost標籤
指定讀取節點。host是讀節點的名稱。url指定讀取節點的ip和端口號。user指定讀節點數據庫的用戶名，password指定讀節點數據庫的密碼。

啓動dble

上述配置完成以後，咱們就能夠啓動dble了。負載均衡

[root@mycat bin]# ./dble start
Starting dble-server...
Removed stale pid file: /dble/dble.pid

啓動後查看wrapper日誌竟然報錯了。jvm

INFO   | jvm 1    | 2019/12/27 00:34:15 | com.actiontech.dble.config.util.ConfigException: Illegal table conf : table [ orders ] rule function [ func_mod ] partition size : 4 > table datanode size : 2, please make sure table datanode size = function partition size

這裏報錯很明顯，主要是這個取模函數默認設置對4取模，大於了咱們的dataNode。須要咱們在rule.xml中把func_mod函數的partitionCount給改爲2.

<function name="func_mod" class="Hash">
    <property name="partitionCount">2</property>
    <property name="partitionLength">1</property>
</function>

從新啓動dble，可以成功啓動。

建立分片並驗證

使用管理端口登陸，進行建立datanode的操做。

[root@mysql5 ~]# mysql -uman1 -p -P9066 -h192.168.56.185 -p654321
mysql> create database @@dataNode='dn$1-2';
Query OK, 1 row affected (0.03 sec)

分別登陸MySQL服務器A和MySQL服務器B查看建立分片的狀況。能夠看到181上建立了db_1，而182上建立了db_2。

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.181 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_1               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.182 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_2               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

建立表並插入數據

使用服務端口登陸，進行建立表和插入數據的操做。此時咱們操做的就是邏輯庫和邏輯表。

[root@mysql5 ~]# mysql -uroot -h192.168.56.185 -P8066 -p123456
mysql> show databases;
+----------+
| DATABASE |
+----------+
| testdb   |
+----------+
1 row in set (0.00 sec)

mysql> use testdb;
Database changed
mysql> show tables;
Empty set (0.00 sec)

mysql> create table if not exists products (
    ->   product_id int not null,
    ->   product_name varchar(250),
    ->   expire_time date,
    ->   primary key(product_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected, 1 warning (0.08 sec)

mysql> create table if not exists orders (
    ->   order_id int not null,
    ->   product_id int not null,
    ->   effective_time date,
    ->   cust_name varchar(20),
    ->   cust_address varchar(200),
    ->   primary key(order_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected (0.04 sec)

insert into products values(1,'Package A','2015-12-31')
insert into products values(2,'Package B','2022-07-31');
insert into products values(3,'Package C','2025-12-31');
insert into products values(4,'Package D','2028-05-31');

insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(2,1,'2019-12-25','liubei','sz');
insert into orders values(3,2,'2019-12-25','sunquan','sh');
insert into orders values(4,2,'2019-12-25','zhugeliang','nj');
insert into orders values(5,3,'2019-12-25','simayi','hz');
insert into orders values(6,4,'2019-12-25','caopi','wh');
insert into orders values(7,1,'2019-12-25','guanyu','cd');
insert into orders values(8,1,'2019-12-25','zhengfei','bj');
insert into orders values(9,3,'2019-12-25','zhaoyun','cd');
insert into orders values(10,1,'2019-12-25','weiyan','cq');
insert into orders values(11,4,'2019-12-25','machao','cs');
insert into orders values(12,1,'2019-12-25','lvbu','cd');
insert into orders values(13,1,'2019-12-25','diaochan','sh');
insert into orders values(14,2,'2019-12-25','huangzhong','hz');

mysql> insert into orders values(1,1,'2019-12-25','caocao','gz');
ERROR 1064 (HY000): bad insert sql, sharding column/joinKey:ID not provided,INSERT INTO orders

在插入orders表的時候再次報錯，報錯很明顯，說分片鍵id沒提供。這是由於咱們在rule.xml中columns字段不是指定的分片字段order_id。在rule.xml配置一下columns字段爲order_id就能夠了。

<tableRule name="rule_mod">
    <rule>
        <columns>order_id</columns>
        <algorithm>func_mod</algorithm>
    </rule>
</tableRule>

驗證分片數據否正確

驗證db_1分片上的數據。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from products" 
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from orders"  
+----------+------------+----------------+------------+--------------+
| order_id | product_id | effective_time | cust_name  | cust_address |
+----------+------------+----------------+------------+--------------+
|        2 |          1 | 2019-12-25     | liubei     | sz           |
|        4 |          2 | 2019-12-25     | zhugeliang | nj           |
|        6 |          4 | 2019-12-25     | caopi      | wh           |
|        8 |          1 | 2019-12-25     | zhengfei   | bj           |
|       10 |          1 | 2019-12-25     | weiyan     | cq           |
|       12 |          1 | 2019-12-25     | lvbu       | cd           |
|       14 |          2 | 2019-12-25     | huangzhong | hz           |
+----------+------------+----------------+------------+--------------+

驗證db_2分片上的數據。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from products"  
mysql: [Warning] Using a password on the command line interface can be insecure.
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from orders" 
+----------+------------+----------------+-----------+--------------+
| order_id | product_id | effective_time | cust_name | cust_address |
+----------+------------+----------------+-----------+--------------+
|        1 |          1 | 2019-12-25     | caocao    | gz           |
|        3 |          2 | 2019-12-25     | sunquan   | sh           |
|        5 |          3 | 2019-12-25     | simayi    | hz           |
|        7 |          1 | 2019-12-25     | guanyu    | cd           |
|        9 |          3 | 2019-12-25     | zhaoyun   | cd           |
|       11 |          4 | 2019-12-25     | machao    | cs           |
|       13 |          1 | 2019-12-25     | diaochan  | sh           |
+----------+------------+----------------+-----------+--------------+

總結

這篇咱們學習了基本的schema.xml的配置方法，目前仍是比較皮毛的。下一篇咱們來介紹分片的一些算法。

參考文檔

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程