Java下一個簡單的數據庫分庫幫助類

時間 2019-12-14

原文原文鏈接

前面兩篇文章主要講了數據庫讀寫分離和分表分庫的一些問題，這篇文章主要講一下我我的實現的一個分表分庫項目。

在此以前，我有寫過一個 .Net的分庫，最近在作Java的項目，就順便作出一個Java版本，這個項目源於我另外的一個業務項目，在這個業務項目中有分表(在一個數據庫下有多張表)，當時寫了一套基於分表的幫助類，隨着這個業務的的發展，基於分表的解決方案有必定的弊端，主要有兩個：

1. 不能很好的擴展，在一個數據庫下面有20張表，當業務繁忙的時候，數據庫出現了壓力(公司裏面多個項目共用一個數據庫服務器，有多是其餘項目影響了個人項目)，這個時候想要擴展就比較麻煩了，我能夠將其中10張表遷移到另外的機器，同時個人代碼路由算法就要改，其實將其中10張表遷移到另外服務器上，就已經相似於分庫了。

2. 基於分表對業務的侵入性較高，我要先經過算法獲得具體的表索引(即表的編號，好比user_15),而後要將整個索引和表前綴進行拼接才能獲得真正的表名。

因此在開源分表分庫的項目的時候，我對項目進行了升級，改成分庫模式，即有多個數據庫，每一個數據庫一張表，表名都同樣，這樣你就能夠在mybatis中不須要再對錶名進行修改。下降了浸入性，同時也方便後續的擴展，你能夠將這些數據庫放在一臺機器上，也能夠在後續數據庫服務器性能緊張的時候，將一部分數據庫遷移到其餘機器上。

最後說一下我當時爲何沒有選擇開源的解決方案，目前我知道的開源方案包括 sharding-jdbc ,mycat ，可是當時時間緊，任務重，研究熟悉部署這些項目，可能須要1-2天的時間，而且後續使用過程當中，出了問題，還須要花時間排查，mycat 是基於分庫的，因此並不適合我這個項目，而個人項目中，在操做數據庫以前，已經能夠知道具體要操做哪張表，對分表的操做也比較簡單，可是要獲得具體的表索引比較麻煩，是要通過多個key運算獲得的，綜合全部，我選擇了本身寫了一個。

項目比較簡單，全部和分庫相關的都在shardingcore中。 test是測試用的。

shardingcore的項目結構。

其中MultipleDataSource是爲了實現切換數據庫鏈接，這塊代碼是參考網上數據庫讀寫分離的。

ShardingDBAspect是分庫的核心代碼。

下面是test工程，比較簡單就是操做數據庫。

這裏重點看一下UserDao，若是你想在項目中用到分庫，只須要引入shardingcore，對於dao層的須要分庫的方法，好比addUser方法，須要有兩個地方須要修改，一個是經過@Sharding來標示出分庫的基本信息。，第二個經過@ShardingKey來標示出要根據哪一個參數來分庫。其餘的代碼都不須要動。

最後要對配置文件作一些修改。

 <!-- aop配置，主要是攔截dao層的方法 -->
    <aop:config>
        <aop:pointcut
                expression="execution(public * com.sharpframework.test.repository.*Dao.*(..)) and @annotation(com.sharpframework.shardingcore.shardingannotation.Sharding)"
                id="shardingpoint"/>
        <aop:aspect id="adviceRespect" ref="sharding" order="1">
            <aop:before pointcut-ref="shardingpoint" method="shardingDB"/>
            <aop:after pointcut-ref="shardingpoint" method="cleanshardingDB"/>
        </aop:aspect>

    </aop:config>

    <bean id="sharding" class="com.sharpframework.shardingcore.ShardingDBAspect"></bean>


    <!-- 由於會有多個數據庫鏈接，全部會有一個抽象鏈接 配置能夠從外部文件讀取-->
    <bean id="db" class="com.alibaba.druid.pool.DruidDataSource"
          destroy-method="close" abstract="true">
        <!-- 初始化鏈接大小 -->
        <property name="initialSize" value="${initialSize}"></property>
        <!-- 鏈接池最大數量 -->
        <property name="maxActive" value="${maxActive}"></property>
        <!-- 鏈接池最大空閒 -->
        <property name="maxIdle" value="${maxIdle}"></property>
        <!-- 鏈接池最小空閒 -->
        <property name="minIdle" value="${minIdle}"></property>
        <!-- 獲取鏈接最大等待時間 -->
        <property name="maxWait" value="${maxWait}"></property>

        <property name="minEvictableIdleTimeMillis" value="60000"></property>
        <property name="testWhileIdle" value="true"></property>
        <property name="timeBetweenEvictionRunsMillis" value="45000"></property>
        <property name="validationQuery" value="select 'x'"></property>
        <property name="testOnBorrow" value="false"></property>
        <property name="defaultAutoCommit" value="false"></property>
    </bean>

    <!-- 數據庫鏈接  -->
    <bean id="db-0" parent="db">
        <property name="driverClassName" value="${user.db0.driver}"/>
        <property name="url" value="${user.db0.url}"/>
        <property name="username" value="${user.db0.username}"/>
        <property name="password" value="${user.db0.password}"/>
    </bean>

    <!-- 數據庫鏈接  -->
    <bean id="db-1" parent="db">
        <property name="driverClassName" value="${user.db1.driver}"/>
        <property name="url" value="${user.db1.url}"/>
        <property name="username" value="${user.db1.username}"/>
        <property name="password" value="${user.db1.password}"/>

    </bean>

    <!-- 數據庫鏈接  -->
    <bean id="db-2" parent="db">
        <property name="driverClassName" value="${user.db2.driver}"/>
        <property name="url" value="${user.db2.url}"/>
        <property name="username" value="${user.db2.username}"/>
        <property name="password" value="${user.db2.password}"/>
    </bean>

    <!-- 多數據源，注入到sqlSesionFactory,注意targetDataSources中key的名稱，這裏和@Sharding中dataSource 有關聯 -->
    <bean id="multipleDataSource" class="com.sharpframework.shardingcore.multippledb.MultipleDataSource" primary="true">
        <property name="defaultTargetDataSource" ref="db-0"/>
        <property name="targetDataSources">
            <map>
                <entry key="db-0" value-ref="db-0"/>
                <entry key="db-1" value-ref="db-1"/>
                <entry key="db-2" value-ref="db-2"/>
            </map>
        </property>
    </bean>