SpringBoot主從數據源切換

時間  2021-05-12
標籤 java mysql spring sql 數據庫 apache 編程 安全 服務器 網絡 欄目 Spring 简体版
原文   原文鏈接

SpringBoot主從數據源切換

1.原理

藉助spring的【org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource】這個抽象類實現，來進行·數據源的路由，並經過Aop 進行路由選擇。java

2.配置主從數據源

# dev server
# 多數據源時，主數據源爲 master
spring.datasource.master.jdbc-url=jdbc:mysql://localhost:3306/epoint?characterEncoding=utf8&allowMultiQueries=true&useSSL=false&autoReconnect=true&failOverReadOnly=false
spring.datasource.master.username=test
spring.datasource.master.password=test

# dev server
# 多數據源時，從數據源爲 slave
spring.datasource.slave.jdbc-url=jdbc:mysql://localhost:3306/epoint2?characterEncoding=utf8&allowMultiQueries=true&useSSL=false&autoReconnect=true&failOverReadOnly=false
spring.datasource.slave.username=test
spring.datasource.slave.password=test

啓動報錯處理

spring boot ：error querying database. Cause: java.lang.IllegalArgumentException: dataSource or dataSourceClassName or jdbcUrl is required
配置多個數據源啓動報錯，error querying database. Cause: java.lang.IllegalArgumentException: dataSource or dataSourceClassName or jdbcUrl is required，
主要緣由是在1.0 配置數據源的過程當中主要是寫成：spring.datasource.url 和spring.datasource.driverClassName。
而在2.0升級以後須要變動成：spring.datasource.jdbc-url和spring.datasource.driver-class-name便可解決！
更改配置：spring.datasource.master.url  ->  spring.datasource.master.jdbc-url

3.獲取當前線程的數據源類型

/**
 * describe:定義HandleDataSource類來獲取當前線程的數據源類型
 * current user Maochao.zhu
 * current system 2020/9/15
 */
public class HandleDataSource {
    public static final ThreadLocal<String> holder = new ThreadLocal<String>();

    /**
     * 綁定當前線程數據源
     *
     * @param datasource
     */
    public static void putDataSource(String datasource) {
        holder.set(datasource);
    }

    /**
     * 獲取當前線程的數據源
     *
     * @return
     */
    public static String getDataSource() {
        return holder.get();
    }

}

3.1線程衝突問題

注意：由於新加了數據庫線程處理類，和原來存在的多線程處理類衝突，會形成現有程序「卡頓」或者「死機」，所以去除原來配置的定時任務多線程配置mysql

/**
 * describe:配置多線程定時器
 * current user Maochao.zhu
 * current system 2020/1/20
 */
@Configuration
@EnableScheduling
public class ScheduleConfig implements SchedulingConfigurer {
    @Override
    public void configureTasks(ScheduledTaskRegistrar taskRegistrar) {
        Method[] methods = BatchProperties.Job.class.getMethods();
        int defaultPoolSize = 3;
        int corePoolSize = 0;
        if (methods != null && methods.length > 0) {
            for (Method method : methods) {
                Scheduled annotation = method.getAnnotation(Scheduled.class);
                if (annotation != null) {
                    corePoolSize++;
                }
            }
            if (defaultPoolSize > corePoolSize)
                corePoolSize = defaultPoolSize;
        }
        taskRegistrar.setScheduler(Executors.newScheduledThreadPool(corePoolSize));
    }
}

4.定義路由數據源的實現類

/**
 * describe:定義路由數據源的實現類MyAbstractRoutingDataSource
 * current user Maochao.zhu
 * current system 2020/9/15
 */
public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {
    private final Logger log = LoggerFactory.getLogger(this.getClass());
    @Override
    protected Object determineCurrentLookupKey() {
        log.info("###請求的數據源：{}",HandleDataSource.getDataSource());
        return HandleDataSource.getDataSource();//獲取對應的數據源
    }
}

5.配置數據源和路由

/**
 * describe:配置數據源數據源和路由配置
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Configuration
public class DataSourceConfig {
    //主數據源
    @Bean()
    @ConfigurationProperties(prefix = "spring.datasource.master")
    public DataSource MasterDataSource() {
        return DataSourceBuilder.create().build();
    }
    //從數據源
    @Bean()
    @ConfigurationProperties(prefix = "spring.datasource.slave")
    public DataSource SlaveDataSource() {
        return DataSourceBuilder.create().build();
    }
    /**
     * 設置數據源路由，經過該類中的determineCurrentLookupKey決定使用哪一個數據源
     */
    @Bean
    public AbstractRoutingDataSource routingDataSource() {
        MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();
        Map<Object, Object> targetDataSources = new HashMap<>(2);//存放對於數據源的映射
        targetDataSources.put("master", MasterDataSource());
        targetDataSources.put("slave", SlaveDataSource());
        proxy.setDefaultTargetDataSource(MasterDataSource());
        proxy.setTargetDataSources(targetDataSources);
        return proxy;
    }


    @Bean(name = "SqlSessionFactory")
    @Primary
    public SqlSessionFactory MasterSqlSessionFactory(DataSource routingDataSource) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(routingDataSource);//DataSource使用路由數據源

        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
        try {
            bean.setMapperLocations(resolver.getResources("classpath*:mapper/**/*.xml"));
            bean.setConfigLocation(resolver.getResource("classpath:mybatis-config.xml"));
            return bean.getObject();
        } catch (Exception e) {
            e.printStackTrace();
            throw new RuntimeException(e);
        }

    }

    @Bean(name = "TransactionManager")
    @Primary
    public DataSourceTransactionManager testTransactionManager(DataSource routingDataSource) {
        return new DataSourceTransactionManager(routingDataSource);
    }

    @Bean(name = "SqlSessionTemplate")
    @Primary
    public SqlSessionTemplate MasterSqlSessionTemplate(SqlSessionFactory sqlSessionFactory) throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory);
    }
}

5.1啓動權限shiro問題

注意：配置路由設置後，原來的apache.shiro 權限讀取不到問題，排查之後肯定緣由是在使用配置路由設置,原來在application.properties中配置的mybaits屬性,將不起做用，所以須要新加一個配置文件(mybatis-config.xml),從中讀取配置信息， 其中ShiroConfig配置類中新增註解支持spring

/**
 * 開啓Shiro的註解(如@RequiresRoles,@RequiresPermissions),需藉助SpringAOP掃描使用Shiro註解的類,並在必要時進行安全邏輯驗證
 * 配置如下兩個bean(DefaultAdvisorAutoProxyCreator和AuthorizationAttributeSourceAdvisor)便可實現此功能
 * @return
 */
@Bean
@ConditionalOnMissingBean
public DefaultAdvisorAutoProxyCreator defaultAdvisorAutoProxyCreator(){
	DefaultAdvisorAutoProxyCreator advisorAutoProxyCreator = new DefaultAdvisorAutoProxyCreator();
	advisorAutoProxyCreator.setProxyTargetClass(true);
	return advisorAutoProxyCreator;
}

/**
 * 開啓shiro aop註解支持.
 * 使用代理方式;因此須要開啓代碼支持;
 * @param securityManager
 * @return
 * */
@Bean
public AuthorizationAttributeSourceAdvisor authorizationAttributeSourceAdvisor(SecurityManager securityManager){
	AuthorizationAttributeSourceAdvisor authorizationAttributeSourceAdvisor = new AuthorizationAttributeSourceAdvisor();
	authorizationAttributeSourceAdvisor.setSecurityManager(securityManager);
	return authorizationAttributeSourceAdvisor;
}

6.加載mybatis配置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <settings>
        <setting name="cacheEnabled" value="true" />
        <setting name="lazyLoadingEnabled" value="true" />
        <setting name="multipleResultSetsEnabled" value="true" />
        <setting name="useColumnLabel" value="true" />
        <setting name="useGeneratedKeys" value="false" />
        <setting name="defaultExecutorType" value="SIMPLE" />
        <setting name="mapUnderscoreToCamelCase" value="true" />
        <setting name="logImpl" value="STDOUT_LOGGING" />
    </settings>
</configuration>

7.新建註解來註釋使用的數據源

/**
 * describe:DataSource註解來註釋Mapper接口所要使用的數據源
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface DataSource {
    String value();//設置數據源類型
}

8.配置Aop

/**
 * describe:配置Aop切換路由選擇
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Aspect
@Component
public class DataSourceAspect {
    public Logger logger = LoggerFactory.getLogger(this.getClass());
    /**
     * 在dao層方法獲取datasource對象以前，在切面中指定當前線程數據源
     */
    @Pointcut("execution(* com.cn.zx.dao..*.*(..))")//切點爲全部的mapper接口
    public void pointcut() {

    }

    @Before("pointcut()")
    public void before(JoinPoint point) {
        System.out.println("before");
        Object target = point.getTarget();
        String method = point.getSignature().getName();
        Class<?>[] classz = target.getClass().getInterfaces();// 獲取目標類的接口， 因此@DataSource須要寫在接口上
        Class<?>[] parameterTypes = ((MethodSignature) point.getSignature()).getMethod().getParameterTypes();
        try {
            Method m = classz[0].getMethod(method, parameterTypes);
            if (m != null && m.isAnnotationPresent(DataSource.class)) {
                DataSource data = m.getAnnotation(DataSource.class);
                System.out.println("####################用戶選擇數據庫庫類型：" + data.value());
                HandleDataSource.putDataSource(data.value());// 數據源放到當前線程中
            }
            logger.info("執行接口方法:{}.{}", point.getSignature().getDeclaringTypeName(), point.getSignature().getName());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

9.設置數據源類型

在對應的mapper方法上使用註解DataSource("master/slave")來設置數據源類型sql

/**
 * 調用主數據源 master
 * @param user
 * @return
 */
@DataSource("master")
Integer insertUser(User user);

/**
 * 調用從數據源 slave
 * @param user
 * @return
 */
@DataSource("slave")
List<User> getUserList(User user);

10.事務失效問題

添加主從數據庫之後，事務就失效了，緣由還在找 ,初步定位爲： 事務和切面的執行順序問題 @EnableTransactionManagement(order = 2) @Order(2)數據庫

解決：apache

SpringbootApplication啓動類增長註解開啓事務註解,數據庫表引擎更改成innodb，若是是myisam，事務是不起做用的
@EnableTransactionManagement

事務的管理方式有兩種： 第一種:編程式事務管理，須要將數據庫的自動提交等取消，而且須要本身編寫事務代碼。 第二種:聲明式事務管理模式，spring利用spring AOP特性編寫了註解。編程

10.1@Transactional註解的特性

1.service類標籤(通常不建議在接口上)上添加@Transactional，能夠將整個類歸入spring事務管理，在每一個業務方法執行時都會開啓一個事務，不過這些事務採用相同的管理方式。而且當在某個service實現類中某個方法調用了另外一個這個實現類中的方法，則兩個方法都必須聲明事務，才能被當成一個事務進行管理
2.@Transactional 註解只能應用到 public 可見度的方法上。 若是應用在protected、private或者 package可見度的方法上，也不會報錯，不過事務設置不會起做用。
3.默認狀況下，spring會對unchecked異常進行事務回滾；若是是checked異常則不回滾。

10.2checked異常

那麼什麼是checked異常，什麼是unchecked異常 java裏面將派生於Error或者RuntimeException（好比空指針，1/0）的異常稱爲unchecked異常，其餘繼承自java.lang.Exception得異常統稱爲Checked Exception，如IOException、TimeoutException等，通俗一點：你寫代碼出現的空指針等異常，會被回滾，文件讀寫，網絡出問題，spring就無法回滾了。安全

10.3只讀事務

@Transactional(propagation=Propagation.NOT_SUPPORTED,readOnly=true) 
只讀標誌只在事務啓動時應用，不然即便配置也會被忽略。 
啓動事務會增長線程開銷，數據庫因共享讀取而鎖定(具體跟數據庫類型和事務隔離級別有關)。一般狀況下，僅是讀取數據時，沒必要設置只讀事務而增長額外的系統開銷。

10.4事務傳播模式

Propagation枚舉了多種事務傳播模式，部分列舉以下：
1. REQUIRED(默認模式)：業務方法須要在一個容器裏運行。若是方法運行時，已經處在一個事務中，那麼加入到這個事務，不然本身新建一個新的事務。
2. NOT_SUPPORTED：聲明方法不須要事務。若是方法沒有關聯到一個事務，容器不會爲他開啓事務，若是方法在一個事務中被調用，該事務會被掛起，調用結束後，原先的事務會恢復執行。
3. REQUIRESNEW：不論是否存在事務，該方法總彙爲本身發起一個新的事務。若是方法已經運行在一個事務中，則原有事務掛起，新的事務被建立。
4. MANDATORY：該方法只能在一個已經存在的事務中執行，業務方法不能發起本身的事務。若是在沒有事務的環境下被調用，容器拋出例外。
5. SUPPORTS：該方法在某個事務範圍內被調用，則方法成爲該事務的一部分。若是方法在該事務範圍外被調用，該方法就在沒有事務的環境下執行。
6. NEVER：該方法絕對不能在事務範圍內執行。若是在就拋例外。只有該方法沒有關聯到任何事務，才正常執行。
7. NESTED：若是一個活動的事務存在，則運行在一個嵌套的事務中。若是沒有活動事務，則按REQUIRED屬性執行。它使用了一個單獨的事務，這個事務擁有多個能夠回滾的保存點。內部事務的回滾不會對外部事務形成影響。它只對DataSourceTransactionManager事務管理器起效。

10.5解決Transactional註解不回滾

1. 檢查你方法是否是public的。
2. 你的異常類型是否是unchecked異常。空指針異常是unchecked異常,若是我想check異常也想回滾怎麼辦，註解上面寫明異常類型便可。
@Transactional(rollbackFor={Exception.class.RuntimeException.class})
相似的還有norollbackFor，自定義不回滾的異常。若是已經在service中進行了try catch 操做,因爲已經被抓獲異常,事務也不會回滾
3. 數據庫引擎要支持事務，若是是mysql，注意表要使用支持事務的引擎，好比innodb，若是是myisam，事務是不起做用的。
4. 是否開啓了對註解的解析
	4.1 SpringMVC中開啓：
		<tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"/>
	4.2 pringboot中開啓：
		啓動類增長註解：@EnableTransactionManagement
		類方法中增長註解：@Transactional
5. spring是否掃描到你這個包，以下是掃描到org.test下面的包
	<context:component-scan base-package="org.test" ></context:component-scan>

10.6數據庫引擎設置

mysql數據庫引擎innodb設置服務器

10.6.1查看支持的引擎
show engines;
10.6.2查看默認引擎
show variables like 'default_storage_engine';
10.6.3修改默認引擎
修改mysql 默認的數據庫引擎
在配置文件my.ini中的 [mysqld] 下面加入default-storage-engine=INNODB
若是啓動不起來,找到 skip-innodb 項，將其改成 #skip-innodb（要否則知識修改了 InnoDB 服務起不來）
重啓Mysql服務器,設置生效。
10.6.4修改數據表引擎

如數據庫名爲： epoint,修改數據庫表引擎從 MyISAM -> InnoDB網絡

10.6.5查詢全部表狀態
SHOW TABLE STATUS FROM epoint;
10.6.6查詢修改表引擎的SQL
SELECT GROUP_CONCAT(CONCAT( 'ALTER TABLE ' ,TABLE_NAME ,' ENGINE=InnoDB; ') SEPARATOR '' ) 
FROM information_schema.TABLES AS t 
WHERE TABLE_SCHEMA = 'epoint' AND TABLE_TYPE = 'BASE TABLE';
10.6.7獲得SQL執行
ALTER TABLE branch ENGINE=InnoDB;
10.6.8查詢全部表狀態
SHOW TABLE STATUS FROM epoint;

修改全部數據庫表的引擎爲InnoDB結束

11.主從數據庫同步問題

主從數據庫數據同步問題定位： 1.程序同步。 2.數據庫操做同步數據 由於要讀寫分離，確定要設置數據庫權限，主數據庫能夠讀寫，從數據庫只能讀，因此這個方法行不通，只能從數據庫方面進行設置主從數據同步。

1.查看mysql的安裝路徑

經過mysql命令查看mysql的安裝路徑：

select @@basedir as basePath from dual;
SELECT @@basedir;

獲取路徑：C:\Program Files\MySQL\MySQL Server 5.7\

2.配置主數據庫

在my.ini 文件中找到[mysqld] 添加以下配置（須要同步的數據庫有多少均可以寫進去，主從同步會根據庫名稱找到對應的叢庫去同步數據）

server-id=1#主庫和從庫須要不一致
log-bin=mysql-bin
binlog-do-db=mstest#同步的數據庫
binlog-ignore-db=mysql#不須要同步的數據庫
2.1重啓MySql 服務,查詢主庫狀態
mysql> SHOW VARIABLES LIKE 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 1     |
+---------------+-------+
1 row in set

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000007 |     5138 | epoint       |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set
2.2爲從庫建立帳號,賦值全部權限
grant all on *.* to 'user'@'%' identified by 'user';

3.配置從數據庫

在my.ini 文件中找到[mysqld] 添加以下配置（須要同步的數據庫有多少均可以寫進去，主從同步會根據庫名稱找到對應的叢庫去同步數據）

server-id=2#和主庫不一致
replicate-do-db=test#須要同步的庫1
replicate-ignore-db=mysql#不須要同步的庫
3.1啓動從庫複製功能
STOP SLAVE; #中止從複製功能的命令
change master to master_host='127.0.0.1',master_port=3306,master_user='slave',master_password='123',master_log_file='mysql-bin.000004',master_log_pos=717;

說明 ： 對應着改爲 大家本身的配置，master_host：主庫的ip,master_port:主庫的端口,master_user:主庫給叢庫創建的帳號名稱,master_password:帳號密碼 關於master_log_file 和 Position（'mysql-bin.000005' 98） 是主庫配置中的"show master status"獲得的;

START SLAVE; #啓動從複製功能
RESET SLAVE; #重置從複製功能的配置，會清除 master.info 和 relay-log.info 兩個文件
show slave status;   (沒有分號)，查看

其中Slave_IO_Running和Slave_SQL_Running屬性打開，表示開啓

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

配置MySQL主從數據庫結束

12.參考博客信息

> 主從Mysql數據庫同步：https://blog.csdn.net/fengrenyuandefz/article/details/89420201
> 一臺電腦裝兩個MySQL：https://blog.csdn.net/weixin_41953055/article/details/79820221
> server_uuid重複：https://blog.csdn.net/sunbocong/article/details/81634296
> mysql主從同步 binlog-do-db replicate-do-db： https://blog.csdn.net/z69183787/article/details/70183284
> mysql主從數據庫同步：https://blog.csdn.net/fengrenyuandefz/article/details/89420201
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程