springboot實現讀寫分離(基於Mybatis，mysql)

時間  2020-05-15
標籤 springboot 實現 讀寫 分離 基於 mybatis mysql 欄目 Spring 简体版
原文   原文鏈接

近日工做任務較輕，有空學習學習技術，遂來研究若是實現讀寫分離。這裏用博客記錄下過程，一方面可備往後查看，同時也能分享給你們（網上的資料真的大都是抄來抄去，，還不帶格式的，看的真心難受）。java

完整代碼：https://github.com/FleyX/demo-project/tree/master/dxflmysql

一、背景

  一個項目中數據庫最基礎同時也是最主流的是單機數據庫，讀寫都在一個庫中。當用戶逐漸增多，單機數據庫沒法知足性能要求時，就會進行讀寫分離改造（適用於讀多寫少），寫操做一個庫，讀操做多個庫，一般會作一個數據庫集羣，開啓主從備份，一主多從，以提升讀取性能。當用戶更多讀寫分離也沒法知足時，就須要分佈式數據庫了（可能之後會學習怎麼弄）。git

  正常狀況下讀寫分離的實現，首先要作一個一主多從的數據庫集羣，同時還須要進行數據同步。這一篇記錄如何用 mysql 搭建一個一主屢次的配置，下一篇記錄代碼層面如何實現讀寫分離。github

二、搭建一主多從數據庫集羣

  主從備份須要多臺虛擬機，我是用 wmware 完整克隆多個實例，注意直接克隆的虛擬機會致使每一個數據庫的 uuid 相同，須要修改成不一樣的 uuid。修改方法參考這個：點擊跳轉。spring

  • 主庫配置sql

    主數據庫（master）中新建一個用戶用於從數據庫（slave）讀取主數據庫二進制日誌，sql 語句以下：數據庫

    mysql> CREATE USER 'repl'@'%' IDENTIFIED BY '123456';#建立用戶
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';#分配權限
mysql>flush privileges;   #刷新權限

    同時修改 mysql 配置文件開啓二進制日誌，新增部分以下：springboot

    [mysqld]
server-id=1
log-bin=master-bin
log-bin-index=master-bin.index

    而後重啓數據庫，使用show master status;語句查看主庫狀態，以下所示：mybatis

主庫狀態

<!-- more -->架構

  • 從庫配置

    一樣先新增幾行配置：

    [mysqld]
server-id=2
relay-log-index=slave-relay-bin.index
relay-log=slave-relay-bin

    而後重啓數據庫，使用以下語句鏈接主庫：

    CHANGE MASTER TO
         MASTER_HOST='192.168.226.5',
         MASTER_USER='root',
         MASTER_PASSWORD='123456',
         MASTER_LOG_FILE='master-bin.000003',
         MASTER_LOG_POS=154;

    接着運行start slave;開啓備份,正常狀況以下圖所示：Slave_IO_Running 和 Slave_SQL_Running 都爲 yes。

    狀態

能夠用這個步驟開啓多個從庫。

  默認狀況下備份是主庫的所有操做都會備份到從庫，實際可能須要忽略某些庫，能夠在主庫中增長以下配置：

# 不一樣步哪些數據庫
binlog-ignore-db = mysql
binlog-ignore-db = test
binlog-ignore-db = information_schema

# 只同步哪些數據庫，除此以外，其餘不一樣步
binlog-do-db = game

三、代碼層面進行讀寫分離

  代碼環境是 springboot+mybatis+druib 鏈接池。想要讀寫分離就須要配置多個數據源，在進行寫操做是選擇寫的數據源，讀操做時選擇讀的數據源。其中有兩個關鍵點：

  • 如何切換數據源
  • 如何根據不一樣的方法選擇正確的數據源

1)、如何切換數據源

  一般用 springboot 時都是使用它的默認配置，只須要在配置文件中定義好鏈接屬性就好了，可是如今咱們須要本身來配置了，spring 是支持多數據源的，多個 datasource 放在一個 HashMapTargetDataSource中，經過dertermineCurrentLookupKey獲取 key 來覺定要使用哪一個數據源。所以咱們的目標就很明確了，創建多個 datasource 放到 TargetDataSource 中，同時重寫 dertermineCurrentLookupKey 方法來決定使用哪一個 key。

2)、如何選擇數據源

  事務通常是註解在 Service 層的，所以在開始這個 service 方法調用時要肯定數據源，有什麼通用方法可以在開始執行一個方法前作操做呢？相信你已經想到了那就是**切面 **。怎麼切有兩種辦法：

  • 註解式，定義一個只讀註解，被該數據標註的方法使用讀庫
  • 方法名，根據方法名寫切點，好比 getXXX 用讀庫，setXXX 用寫庫

3)、代碼編寫

a、編寫配置文件，配置兩個數據源信息

  只有必填信息，其餘都有默認設置

mysql:
  datasource:
    #讀庫數目
    num: 1
    type-aliases-package: com.example.dxfl.dao
    mapper-locations: classpath:/mapper/*.xml
    config-location: classpath:/mybatis-config.xml
    write:
      url: jdbc:mysql://192.168.226.5:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true
      username: root
      password: 123456
      driver-class-name: com.mysql.jdbc.Driver
    read:
      url: jdbc:mysql://192.168.226.6:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true
      username: root
      password: 123456
      driver-class-name: com.mysql.jdbc.Driver

b、編寫 DbContextHolder 類

  這個類用來設置數據庫類別，其中有一個 ThreadLocal 用來保存每一個線程的是使用讀庫，仍是寫庫。代碼以下：

/**
 * Description 這裏切換讀/寫模式
 * 原理是利用ThreadLocal保存當前線程是否處於讀模式（經過開始READ_ONLY註解在開始操做前設置模式爲讀模式，
 * 操做結束後清除該數據，避免內存泄漏，同時也爲了後續在該線程進行寫操做時任然爲讀模式
 * @author fxb
 * @date 2018-08-31
 */
public class DbContextHolder {

    private static Logger log = LoggerFactory.getLogger(DbContextHolder.class);
    public static final String WRITE = "write";
    public static final String READ = "read";

    private static ThreadLocal<String> contextHolder= new ThreadLocal<>();

    public static void setDbType(String dbType) {
        if (dbType == null) {
            log.error("dbType爲空");
            throw new NullPointerException();
        }
        log.info("設置dbType爲：{}",dbType);
        contextHolder.set(dbType);
    }

    public static String getDbType() {
        return contextHolder.get() == null ? WRITE : contextHolder.get();
    }

    public static void clearDbType() {
        contextHolder.remove();
    }
}

c、重寫 determineCurrentLookupKey 方法

  spring 在開始進行數據庫操做時會經過這個方法來決定使用哪一個數據庫，所以咱們在這裏調用上面 DbContextHolder 類的getDbType()方法獲取當前操做類別,同時可進行讀庫的負載均衡，代碼以下：

public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {

    @Value("${mysql.datasource.num}")
    private int num;

    private final Logger log = LoggerFactory.getLogger(this.getClass());

    @Override
    protected Object determineCurrentLookupKey() {
        String typeKey = DbContextHolder.getDbType();
        if (typeKey == DbContextHolder.WRITE) {
            log.info("使用了寫庫");
            return typeKey;
        }
        //使用隨機數決定使用哪一個讀庫
        int sum = NumberUtil.getRandom(1, num);
        log.info("使用了讀庫{}", sum);
        return DbContextHolder.READ + sum;
    }
}

d、編寫配置類

  因爲要進行讀寫分離，不能再用 springboot 的默認配置，咱們須要手動來進行配置。首先生成數據源，使用@ConfigurProperties 自動生成數據源：

/**
     * 寫數據源
     *
     * @Primary 標誌這個 Bean 若是在多個同類 Bean 候選時，該 Bean 優先被考慮。
     * 多數據源配置的時候注意，必需要有一個主數據源，用 @Primary 標誌該 Bean
     */
    @Primary
    @Bean
    @ConfigurationProperties(prefix = "mysql.datasource.write")
    public DataSource writeDataSource() {
        return new DruidDataSource();
    }

讀數據源相似，注意有多少個讀庫就要設置多少個讀數據源，Bean 名爲 read+序號。

  而後設置數據源，使用的是咱們以前寫的 MyAbstractRoutingDataSource 類

/**
     * 設置數據源路由，經過該類中的determineCurrentLookupKey決定使用哪一個數據源
     */
    @Bean
    public AbstractRoutingDataSource routingDataSource() {
        MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();
        Map<Object, Object> targetDataSources = new HashMap<>(2);
        targetDataSources.put(DbContextHolder.WRITE, writeDataSource());
        targetDataSources.put(DbContextHolder.READ+"1", read1());
        proxy.setDefaultTargetDataSource(writeDataSource());
        proxy.setTargetDataSources(targetDataSources);
        return proxy;
    }

  接着須要設置 sqlSessionFactory

/**
     * 多數據源須要本身設置sqlSessionFactory
     */
    @Bean
    public SqlSessionFactory sqlSessionFactory() throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(routingDataSource());
        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
        // 實體類對應的位置
        bean.setTypeAliasesPackage(typeAliasesPackage);
        // mybatis的XML的配置
        bean.setMapperLocations(resolver.getResources(mapperLocation));
        bean.setConfigLocation(resolver.getResource(configLocation));
        return bean.getObject();
    }

  最後還得配置下事務，不然事務不生效

/**
     * 設置事務，事務須要知道當前使用的是哪一個數據源才能進行事務處理
     */
    @Bean
    public DataSourceTransactionManager dataSourceTransactionManager() {
        return new DataSourceTransactionManager(routingDataSource());
    }

4)、選擇數據源

  多數據源配置好了，可是代碼層面如何選擇選擇數據源呢？這裏介紹兩種辦法：

a、註解式

  首先定義一個只讀註解，被這個註解方法使用讀庫，其餘使用寫庫，若是項目是中途改形成讀寫分離可以使用這個方法，無需修改業務代碼，只要在只讀的 service 方法上加一個註解便可。

@Target({ElementType.METHOD,ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
public @interface ReadOnly {
}

  而後寫一個切面來切換數據使用哪一種數據源，重寫 getOrder 保證本切面優先級高於事務切面優先級，在啓動類加上@EnableTransactionManagement(order = 10),爲了代碼以下：

@Aspect
@Component
public class ReadOnlyInterceptor implements Ordered {
    private static final Logger log= LoggerFactory.getLogger(ReadOnlyInterceptor.class);

    @Around("@annotation(readOnly)")
    public Object setRead(ProceedingJoinPoint joinPoint,ReadOnly readOnly) throws Throwable{
        try{
            DbContextHolder.setDbType(DbContextHolder.READ);
            return joinPoint.proceed();
        }finally {
            //清楚DbType一方面爲了不內存泄漏，更重要的是避免對後續在本線程上執行的操做產生影響
            DbContextHolder.clearDbType();
            log.info("清除threadLocal");
        }
    }

    @Override
    public int getOrder() {
        return 0;
    }
}

b、方法名式

  這種方法不準要註解，可是須要service中方法名稱按必定規則編寫，而後經過切面來設置數據庫類別，好比setXXX設置爲寫、getXXX設置爲讀，代碼我就不寫了，應該都知道怎麼寫。

四、測試

  編寫好代碼來試試結果如何，下面是運行截圖：

測試結果

讀寫分離只是數據庫擴展的一個臨時解決辦法，並不能一勞永逸，隨着負載進一步增大，只有一個庫用於寫入確定是不夠的，並且單表的數據庫是有上限的，mysql 最多千萬級別的數據能保持較好的查詢性能。最終仍是會變成--分庫分表架構的。分庫分表能夠看看這一篇：https://www.tapme.top/blog/detail/2019-03-20-10-38

本文原創發佈於：www.tapme.top/blog/detail/2018-09-10-10-38

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程