分享下去年末寫的mysql分庫分表中間件heisenberg

時間 2019-11-21

標籤分享下去年末寫的 mysql 分庫分表中間件 heisenberg 欄目 MySQL 简体版

原文原文鏈接

目前維護在github上了，googlecode穩定性太差java

https://github.com/brucexx/heisenbergnode

其優勢：分庫分表與應用脫離，分庫表如同使用單庫表同樣
減小db 鏈接數壓力
熱重啓配置
可水平擴容
遵照Mysql原生協議
無語言限制，mysqlclient,c,java等均可以使用
Heisenberg服務器經過管理命令能夠查看，如鏈接數，線程池，結點等，並能夠調整
採用velocity的分庫分表腳本進行自定義分庫表，至關的靈活mysql

以前在組裏有作過簡單的分享，這段時間稍微輕鬆了點，先分享出來，看有沒有更好的idea在這塊有所提高git

下面開始介紹heisenberggithub

1.heisenberg整體架構

首先這塊架構：sql

應用對於heisenberg集羣來講就是mysql客戶端，服務器

而heisenberg也是集成了mysql的原生協議，因此對於應用來講，就至關於單庫單表的數據源架構

不管是mysql客戶端，c,jdbc驅動等均可以訪問heisenberg服務器，由服務器把分庫分表的工做給作掉了ide

訪問heisenberg集羣能夠經過像lvs,F5等負載軟件/設備解決，svn

其實一臺heisenberg的性能是至關的讚了，我壓力到2320TPS load 都還只有0.1-0.3左右（CPU 8core,16G），因爲找不到mysql物理機器了，只得作罷

服務端內部結構：

其中FrontConnectionFactory爲面向應用的鏈接管理，ManagerConnectionFactory爲面向heisenberg服務器內部管理的一些鏈接管理，好比更改配置後熱重啓，關閉某個鏈接等功能

mysql協議貫穿於應用程序與mysql服務器，最終解析爲相關的mysql數據包, 受權包，註冊包等

當heisenberg服務器接收到SQL語句後，經過AST語法解析解析成 DML,DCL,DDL類型以及相關列名的值等等，而後經過ServerRouter這一層，通過分庫分表的切分，最終將切分好的語句放入對應數據結點進行執行

分庫分表的切分，爲了知足各類通用性靈活性，使用了velocity和groovy 2種語法來支持，其中groovy是初始化表和庫和映射關係的，只在加載時初始化一次；而velocity是用來渲染對應的分庫和分表規則的。

OK，知道了原理，那麼開始說明如何使用分庫分表吧

2.heisenberg開發

Maven +JDK 部署好

代碼從 https://github.com/brucexx/heisenberg

下載到本地後，

Mvn package 之

在本地target裏會生成一個heisenberg-server-1.0.0.zip 文件

解壓之 unzip heisenberg-server-1.0.0.zip

進入conf目錄

有下面幾個目錄

conf

---log4j.xml

---rule.xml

---schema.xml

---server.xml

log4j.xml就不介紹了

sql_route.log就是分庫表切分的時間

sql_execute.log 爲sql總執行時間

server.xml

<property name="clusterHeartbeatUser">_HEARTBEAT_USER_</property>

<property name="clusterHeartbeatPass">_HEARTBEAT_PASS_</property>

</system>

serverPort爲服務端口，即對上層應用的端口

managerPort爲管理端口，即管理的監聽端口，用於操做服務器一些配置等

initExecutor 爲初始化的線程個數

timerExecutor 心跳執行線程個數

managerExecutor管理執行線程個數

processors應用接收處理器核數

processorHandler 應用接收處理類個數

processorExecutor 應用接收處理線程個數

clusterHeartbeatUser和clusterHeartbeatPass 沒必要改，用於集羣的認證方式使用

<property name="schemas">trans_shard</property>

</user>

Brucexx爲自定義應用用戶名，st0078爲自定義應用密碼

Schemas爲自定義schema,具體見schema.xml中，

這裏的schemas可爲多個，以逗號分隔

白名單限制：

</host>

</quarantine>

schema.xml配置

mysql數據源

</property>

<property name="sqlMode">STRICT_TRANS_TABLES</property>

</dataSource>

這裏指定的mysql的數據源，後面$0-9是一種自定義的縮略寫法

也能夠在property裏面定義多個location，好比：

</property>

效果是同樣的

Shard結點配置

Shard結點至關於一個邏輯結點，提供給外部相關的schema，對應於數據源有

主/備/災，

<dataSourceRef>transDS$0-9</dataSourceRef>

<dataSourceRef>transSlaveDS$0-9</dataSourceRef>

<dataSourceRef>transSlaveDS$0-9</dataSourceRef>

</property>

<property name="heartbeatSQL">select user()</property>

</dataNode>

屬性dataSource 第一個是主庫，第二個備庫，第三個災庫，須要多少配置多少個

讀寫分離規則rwRule，m和s表明讀取的比例，表示主庫讀取爲0,從庫讀取1，這樣直接讀寫分離，若是是1:1的話至關讀取各1：1的比例

池大小poolSize爲到mysqlDB的鏈接數和心跳sql heartbeatSQL，無特殊需求保持不變

Schema配置

</schema>

trans_shard 提供的schema,對應於server.xml中的名字

下面會有多個須要分庫的表，

這裏必需要把須要分庫分表的內容寫出來，固然，若是不分庫表也是能夠的

<table name=」tbxxx" dataNode="transDN0" ruleRequired=」false」/

rule.xml

分庫分表規則配置，其中columns,dbRuleList,tbRuleList裏面的列名要保持大寫

首先先上一個總體配置

<rule>

<columns>TRANS_ID</columns>

<dbRule><![CDATA[#set($start=$TRANS_ID.length() - 2)##

#set($end=$TRANS_ID.length() - 1)##

$stringUtil.substring($TRANS_ID,$start,$end)]]>

</dbRule>

</dbRuleList>

<tbRule><![CDATA[#set($start=$TRANS_ID.length() - 2)##

$stringUtil.substring($TRANS_ID,$start)]]></tbRule>

</tbRuleList>

<![CDATA[

def map = [:];

for (int i=0; i<10; i++) {

def list = [];

for (int j=0; j<10; j++) {

list.add(i+""+j);

}

map.put(i,list);

};

return map;

]]>

</tbPrefix>

</tableRule>

</rule>

其中dbRuleList 爲分庫規則

<dbRule><![CDATA[#set($start=$TRANS_ID.length() - 2)##

#set($end=$TRANS_ID.length() - 1)##

$stringUtil.substring($TRANS_ID,$start,$end)]]>

</dbRule>

</dbRuleList>

分庫規則dbRuleList能夠有多個dbRule，當第一個不知足時，能夠用第二個，固然這個效率很差，若是有規則區分，儘可能再寫一個rule，

dbRule 最後的結果是表的前綴

好比分庫分表庫名爲db0-db9,那麼這個dbRule渲染時

取到TRANS_ID 這個爲後，在腳本里計算出取倒數第2位爲庫後綴

好比上圖的分庫爲

分表規則配置

<tbRule><![CDATA[#set($start=$TRANS_ID.length() - 2)##

$stringUtil.substring($TRANS_ID,$start)]]></tbRule>

</tbRuleList>

這個和上面分庫同樣了，以倒數1，2位爲庫的後綴

以下圖：

有個潛規則就是

須要保證全局的表名不能重複

好比db0有個trans_tb00,db1就不能有叫trans_tb00的表

表初始化

<![CDATA[

def map = [:];

for (int i=0; i<10; i++) {

def list = [];

for (int j=0; j<10; j++) {

list.add(i+""+j);

}

map.put(i,list);

};

return map;

]]>

</tbPrefix>

須要初始化個表，其中key爲db的下標索引，好比db0 的下標爲0,

list爲每一個庫裏的表後綴名

目錄是爲了初始化定義這些庫表

如何使用呢？

經過命令行

這裏就不用講了，wms_shard就是在server.xml裏面配置的邏輯分庫分表的數據源schema,應用只要訪問這個就行了

show tables;也能夠看到本身的一些表信息

ok.

mysql> select * from t_user_id_map;

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

| 105001050 | @8230762802717b6a723fe9cd | 1 | 1287824017 | 2014-03-10 15:38:44 | 2014-03-10 15:38:44 |

| 62000 | | 1 | 533885000 | 2014-03-26 23:02:31 | 2014-03-26 23:02:31 |

| 86000 | | 1 | 237406000 | 2014-03-27 01:04:23 | 2014-03-27 01:04:23 |

| 96000 | | 1 | 767684000 | 2014-03-27 00:30:32 | 2014-03-27 00:30:32 |

| 130000 | | 1 | 506552000 | 2014-03-27 15:57:31 | 2014-03-27 15:57:31 |

| 149000 | | 1 | 868483000 | 2014-03-27 15:50:09 | 2014-03-27 15:50:09 |

| 179000 | | 1 | 245626000 | 2014-03-26 21:33:46 | 2014-03-26 21:33:46 |

當沒有指定分庫分表規則時，是進行的全表掃描，固然咱們能夠經過學習

mysql> explain select * from t_user_id_map;

+-----------+-----------------------------------

| DATA_NODE | SQL

+-----------+-----------------------------------

| wmsDN[0] | select * from t_user_id_map_00_0

| wmsDN[0] | select * from t_user_id_map_00_1

| wmsDN[0] | select * from t_user_id_map_00_2

| wmsDN[0] | select * from t_user_id_map_00_3

| wmsDN[0] | select * from t_user_id_map_00_4

| wmsDN[0] | select * from t_user_id_map_00_5

| wmsDN[0] | select * from t_user_id_map_00_6

| wmsDN[0] | select * from t_user_id_map_00_7

| wmsDN[0] | select * from t_user_id_map_00_8

| wmsDN[0] | select * from t_user_id_map_00_9

| wmsDN[1] | select * from t_user_id_map_01_0

| wmsDN[1] | select * from t_user_id_map_01_1

| wmsDN[1] | select * from t_user_id_map_01_2

| wmsDN[1] | select * from t_user_id_map_01_3

| wmsDN[1] | select * from t_user_id_map_01_4

| wmsDN[1] | select * from t_user_id_map_01_5

| wmsDN[1] | select * from t_user_id_map_01_6

| wmsDN[1] | select * from t_user_id_map_01_7

| wmsDN[1] | select * from t_user_id_map_01_8

| wmsDN[1] | select * from t_user_id_map_01_9

| wmsDN[2] | select * from t_user_id_map_02_0

....

這邊表不少，其中dataNode是咱們裏面對應的結點

mysql> select * from t_user_id_map where f_uid=196606999;

+-----------+---------+-----------+-----------+---------------------+---------------------+

+-----------+---------+-----------+-----------+---------------------+---------------------+

| 196606999 | | 1 | 749331999 | 2014-04-04 14:46:58 | 2014-04-04 14:46:58 |

+-----------+---------+-----------+-----------+---------------------+---------------------+

1 row in set (0.04 sec)

這邊配置的是按F_uid最後三位分庫分表的，dbRuleList配置的是倒數2，3位，

tbRuleList配置的是最後1位

咱們看下是怎麼路由的

mysql> explain select * from t_user_id_map where f_uid=196606999;

+-----------+---------------------------------------------------------+

| DATA_NODE | SQL |

+-----------+---------------------------------------------------------+

| wmsDN[99] | select * from t_user_id_map_99_9 where f_uid=196606999 |

+-----------+---------------------------------------------------------+

1 row in set (0.03 sec)

能夠看到data_node --> wmsDN[99] ,分庫位

t_user_id_map_99_9 對應的表

OK，先寫到這裏面，有什麼問題隨時歡迎交流！

個人email:brucest0078@gmail.com

qq羣：150720285

附上一些文檔：

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。