記一次 Atomikos 分佈式事務的使用

時間  2019-11-17
標籤 一次 atomikos 分佈式 事務 使用 欄目 系統架構 简体版
原文   原文鏈接

因爲項目上的須要，我要同時往orcale數據庫與sqlserver數據中插入數據，須要在一個事務以內完成這兩個庫的提交。參考了一下網上的各類JTA（Java Transaction API）實現以後，選擇了Atomikos的實現。java

由於當時使用的時候繞的彎路大了點，因此寫篇文章記錄下基本的實現過程，方便往後查看。若是是第一次使用，強烈建議去Atomikos查看官方例子與指導，寫的很詳細。mysql

前提

----XA是啥？
XA是由X/Open組織提出的分佈式事務的架構（或者叫協議）。XA架構主要定義了（全局）事務管理器（Transaction Manager）和（局部）資源管理器（Resource Manager）之間的接口。XA接口是雙向的系統接口，在事務管理器（Transaction Manager）以及一個或多個資源管理器（Resource Manager）之間造成通訊橋樑。也就是說，在基於XA的一個事務中，咱們能夠針對多個資源進行事務管理，例如一個系統訪問多個數據庫，或即訪問數據庫、又訪問像消息中間件這樣的資源。這樣咱們就可以實如今多個數據庫和消息中間件直接實現所有提交、或所有取消的事務。XA規範不是java的規範，而是一種通用的規範，
目前各類數據庫、以及不少消息中間件都支持XA規範。
JTA是知足XA規範的、用於Java開發的規範。因此，當咱們說，使用JTA實現分佈式事務的時候，其實就是說，使用JTA規範，實現系統內多個數據庫、消息中間件等資源的事務。git

JTA(Java Transaction API)，是J2EE的編程接口規範，它是XA協議的JAVA實現。它主要定義了：github

  • 一個事務管理器的接口javax.transaction.TransactionManager，定義了有關事務的開始、提交、撤回等>操做。
  • 一個知足XA規範的資源定義接口javax.transaction.xa.XAResource，一種資源若是要支持JTA事務，就須要讓它的資源實現該XAResource接口，並實現該接口定義的兩階段提交相關的接口。
    若是咱們有一個應用，它使用JTA接口實現事務，應用在運行的時候，就須要一個實現JTA的容器，通常狀況下，這是一個J2EE容器，像JBoss，Websphere等應用服務器。可是，也有一些獨立的框架實現了JTA，例如Atomikos, bitronix都提供了jar包方式的JTA實現框架。這樣咱們就可以在Tomcat或者Jetty之類的服務器上運行使用JTA實現事務的應用系統。
    在上面的本地事務和外部事務的區別中說到，JTA事務是外部事務，能夠用來實現對多個資源的事務性。它正是經過每一個資源實現的XAResource來進行兩階段提交的控制。感興趣的同窗能夠看看這個接口的方法，除了commit, rollback等方法之外，還有end(), forget(), isSameRM(), prepare()等等。光從這些接口就可以想象JTA在實現兩階段事務的複雜性。
                                                            -------------- REST微服務的分佈式事務實現-分佈式系統、事務以及JTA介紹

若是還想了解更多的關於分佈式事務的實現方式的能夠看一個這個，裏面寫了7種思路。Spring的分佈式事務實現-使用和不使用XA(翻譯)web

環境： spring-boot 2.x + maven + atomikos + orcale + sqlserver + mybatis

maven:pom文件spring

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>con.demo</groupId>
    <artifactId>demo</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>demo</name>
    <description>demo project for Spring Boot</description>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.13.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>1.3.2</version>
        </dependency>

        <dependency>
            <groupId>com.github.noraui</groupId>
            <artifactId>ojdbc7</artifactId>
            <version>12.1.0.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.5</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jta-atomikos</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>

        <dependency>
            <groupId>com.microsoft.sqlserver</groupId>
            <artifactId>mssql-jdbc</artifactId>
            <version>6.4.0.jre8</version>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <directory>src/main/java</directory>
                <includes>
                    <include>**/*.xml</include>
                </includes>
            </resource>
            <resource>
                <directory>src/main/resources</directory>
                <includes>
                    <include>**/*</include>
                </includes>
            </resource>
        </resources>
    </build>
</project>

application.properties裏配置3個數據源sql

server.port=8085
logging.file=logs\\msgexchange.log
logging.level.root=INFO
logging.level.org.springframework.web=INFO

logging.level.cn.gov.customs.msgexchange=DEBUG
mybatis.check-config-location=true
mybatis.config-locations=classpath:mybatis-config.xml

#primary datasource
spring.datasource.driverClassName = oracle.jdbc.driver.OracleDriver
spring.datasource.url=jdbc:oracle:thin:@ip:port:dbname
spring.datasource.username=username
spring.datasource.password=password
spring.datasource.initialSize=5 
spring.datasource.minIdle=10  
spring.datasource.maxActive=30  
spring.datasource.maxWait=60000  
spring.datasource.timeBetweenEvictionRunsMillis=60000  
spring.datasource.minEvictableIdleTimeMillis=300000  
spring.datasource.validationQuery=SELECT 1 FROM DUAL  
spring.datasource.testWhileIdle=true  
spring.datasource.testOnBorrow=false  
spring.datasource.testOnReturn=false  
spring.datasource.poolPreparedStatements=true  
spring.datasource.maxPoolPreparedStatementPerConnectionSize=20  

#XADataSource orcale 數據源
spring.datasource.msg.xaDataSourceClassName=oracle.jdbc.xa.client.OracleXADataSource
spring.datasource.msg.url=jdbc:oracle:thin:@ip:port:dbname
spring.datasource.msg.user=user
spring.datasource.msg.password=password
spring.datasource.msg.uniqueResourceName=OracleXADataSource
spring.datasource.msg.initialSize=5 
spring.datasource.msg.minIdle=10  
spring.datasource.msg.maxActive=30  
spring.datasource.msg.maxWait=60000  
spring.datasource.msg.timeBetweenEvictionRunsMillis=60000  
spring.datasource.msg.minEvictableIdleTimeMillis=300000  
spring.datasource.msg.validationQuery=SELECT 1 FROM DUAL  
spring.datasource.msg.testWhileIdle=true  
spring.datasource.msg.testOnBorrow=false  
spring.datasource.msg.testOnReturn=false  
spring.datasource.msg.poolPreparedStatements=true  
spring.datasource.msg.maxPoolPreparedStatementPerConnectionSize=20

#sqlserver 數據源
spring.datasource.dps.driverClassName=com.microsoft.sqlserver.jdbc.SQLServerDriver 
spring.datasource.dps.url=jdbc:sqlserver://localhost:port;database=dbname
spring.datasource.dps.username=username
spring.datasource.dps.password=password
spring.datasource.dps.initialSize=5 
spring.datasource.dps.minIdle=10  
spring.datasource.dps.maxActive=30  
spring.datasource.dps.maxWait=60000  
spring.datasource.dps.timeBetweenEvictionRunsMillis=60000  
spring.datasource.dps.minEvictableIdleTimeMillis=300000  
spring.datasource.dps.validationQuery=SELECT 1 FROM DUAL  
spring.datasource.dps.testWhileIdle=true  
spring.datasource.dps.testOnBorrow=false  
spring.datasource.dps.testOnReturn=false  
spring.datasource.dps.poolPreparedStatements=true  
spring.datasource.dps.maxPoolPreparedStatementPerConnectionSize=20

這裏很尷尬，配置了這麼多，因爲使用的並非springboot-start裏的自動裝配。我又沒有手動裝配，全部其實都沒有用上。。其中主數據源是平時單庫操做用的，他不須要使用分佈式事務。
我使用了mybatis，因此如今來寫一下配置文件。數據庫

主數據源
@Configuration
@MapperScan(basePackages = {"com.demo.orcale.dao"}, sqlSessionTemplateRef = "SqlSessionTemplate")
public class MybatisConfig {

    @Bean(name = "MybatisDS")
    @ConfigurationProperties(prefix = "spring.datasource")
    @Primary
    public DataSource DataSource() {
        return DataSourceBuilder.create().build();
    }

    @Bean(name = "SqlSessionFactory")
    @Primary
    public SqlSessionFactory SqlSessionFactory(@Qualifier("MybatisDS") DataSource dataSource) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(dataSource);
        return bean.getObject();
    }

    @Primary
    @Bean(name = "TransactionManager")
    public DataSourceTransactionManager TransactionManager(@Qualifier("MybatisDS") DataSource dataSource) {
        return new DataSourceTransactionManager(dataSource);
    }

    @Primary
    @Bean(name = "SqlSessionTemplate")
    public SqlSessionTemplate SqlSessionTemplate(@Qualifier("SqlSessionFactory") SqlSessionFactory sqlSessionFactory)
            throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory);
    }
}

這裏是配置了一下單庫操做的主數據源，這個和分佈式事務沒有一點關係，爲了平時數據庫的增刪改查使用。apache

sqlserver數據源
@Configuration
@MapperScan(basePackages = ""com.demo.xa.sqlserver.dao", sqlSessionTemplateRef = "DpsSqlSessionTemplate")
@ConfigurationProperties(prefix = "spring.datasource.dps")
public class DPSMybatisConfig {
    private String url;
    private String username;
    private String password;

    @Bean(name = "DpsMybatisDS")
    public DataSource DataSource() {
        SQLServerXADataSource xaDataSource = new SQLServerXADataSource();
        xaDataSource.setURL(url);
        xaDataSource.setUser(username);
        xaDataSource.setPassword(password);

        AtomikosDataSourceBean ds = new AtomikosDataSourceBean();
        ds.setXaDataSource(xaDataSource);
        return ds;
    }

    @Bean(name = "DpsSqlSessionFactory")
    public SqlSessionFactory SqlSessionFactory(@Qualifier("DpsMybatisDS") DataSource dataSource) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(dataSource);
        return bean.getObject();
    }

    @Bean(name = "DpsSqlSessionTemplate")
    public SqlSessionTemplate SqlSessionTemplate(@Qualifier("DpsSqlSessionFactory") SqlSessionFactory sqlSessionFactory)
            throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory);
    }

    public String getUrl() {
        return url;
    }

    public void setUrl(String url) {
        this.url = url;
    }

    public String getUsername() {
        return username;
    }

    public void setUsername(String username) {
        this.username = username;
    }

    public String getPassword() {
        return password;
    }

    public void setPassword(String password) {
        this.password = password;
    }
}
orcale數據源
@Configuration
@MapperScan(basePackages = {"com.demo.xa.orcale.dao"}, sqlSessionTemplateRef = "SqlSessionTemplate")
public class MybatisConfig {

        //從配置文件裏注入吧
    @Bean(name = "MybatisDS")
    public DataSource DataSource() {
        Properties properties = new Properties();
        properties.setProperty("URL", "jdbc:oracle:thin:@172.18.11.62:1521:test");
        properties.setProperty("user", "user");
        properties.setProperty("password", "password");

        AtomikosDataSourceBean ds = new AtomikosDataSourceBean();
        ds.setXaProperties(properties);
        ds.setUniqueResourceName("OracleXADataSource");
        ds.setXaDataSourceClassName("oracle.jdbc.xa.client.OracleXADataSource");
        return ds;
    }

    @Bean(name = "SqlSessionFactory")
    public SqlSessionFactory SqlSessionFactory(@Qualifier("MybatisDS") DataSource dataSource) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(dataSource);
        return bean.getObject();
    }

    @Bean(name = "SqlSessionTemplate")
    public SqlSessionTemplate SqlSessionTemplate(@Qualifier("SqlSessionFactory") SqlSessionFactory sqlSessionFactory)
            throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory);
    }
}

使用XA的時候只須要把數據源配置成對應數據庫的XA數據源就好了，其餘的配置不用改編程

mysql就把數據源換成MysqlXADataSource徹底沒區別。

定義個獨立的事務管理器，spring會爲你管理的。(很遺憾沒有研究一下spring是如何接手事務管理的)

@Bean(name = "xatx")
    @Primary
    public JtaTransactionManager regTransactionManager () {
        UserTransactionManager userTransactionManager = new UserTransactionManager();
        UserTransaction userTransaction = new UserTransactionImp();
        return new JtaTransactionManager(userTransaction, userTransactionManager);
    }

至此配置就配置完成了。而後看一下如何使用

@Transactional(transactionManager = "xatx")
    @GetMapping("/test")
    public String test(){
        //sqlservice
        User user = new User();
        user.setNo(UUID.randomUUID().toString().substring(10));
        user.setName("bob");
        userMapper.insert(user);

        if (true){
            throw new RuntimeException("this is my RunTime error");
        }

        //orcale
        Car car = new Car();
        car.setNo(UUID.randomUUID().toString().substring(10));
        car.setName("sherry");
        carMapper.insert(car);

        return "操做成功";
    }

在事務中拋出任意的RuntimeException的時候都會觸發事務的回滾，要不兩個數據庫都提交，不然就都不提交。
其實搭建分佈式事務的難點並非在配置mybatis數據源這裏。而是在配置數據庫上，orcale的還好說，只要給一下orcale帳戶的權限就完事，可是sqlserver數據庫的配置簡直了，老老實實跟着官網步驟走吧。
atomikos官網步驟： Configuring Microsoft SQL Server for XA
微軟官網：Understanding XA Transactions
上面這兩個纔是最坑的。這裏舉兩個我碰到的坑

問題1：沒有存儲過程xxx

這個問題基本看看是orcale仍是sqlserver，若是是orcale的就是沒有數據庫的表權限。找到官網的4個受權語句加上，問題能夠解決

grant select on sys.dba_pending_transactions to <user name>;
grant select on sys.pending_trans$ to <user name>;
grant select on sys.dba_2pc_pending to <user name>;
grant execute on sys.dbms_system to <user name>;

若是是sqlserver數據源報出的問題，那麼找到驅動中的xa_install.sql文件，運行一下，他會創建不少觸發器與表，還會創建一個數據庫角色，你須要把sqlserver的登陸用戶賦予這個新建的角色。

問題2：函數 RECOVER: 失敗。狀態爲: -3。錯誤:「*** SQLJDBC_XA DTC_ERROR Context: xa_recover, state=1
javax.transaction.xa.XAException: 函數 RECOVER: 失敗。狀態爲: -3。錯誤:「*** SQLJDBC_XA DTC_ERROR Context: xa_recover, state=1, StatusCode:-3 (0xFFFFFFFD) ***」
    at com.microsoft.sqlserver.jdbc.SQLServerXAResource.DTC_XA_Interface(SQLServerXAResource.java:550) ~[sqljdbc4-4.0.jar:na]
    at com.microsoft.sqlserver.jdbc.SQLServerXAResource.recover(SQLServerXAResource.java:728) ~[sqljdbc4-4.0.jar:na]
    at com.atomikos.datasource.xa.XATransactionalResource.recoverXidsFromXAResource(XATransactionalResource.java:554) [transactions-jta-3.9.3.jar:na]
    at com.atomikos.datasource.xa.XATransactionalResource.recover(XATransactionalResource.java:512) [transactions-jta-3.9.3.jar:na]
    at com.atomikos.datasource.xa.XATransactionalResource.recoverXidsFromResourceIfNecessary(XATransactionalResource.java:615) 
............................

2018-08-08 09:11:33.221  WARN 2020 --- [           main] c.a.icatch.imp.TransactionServiceImp     : ERROR IN RECOVERY

com.atomikos.datasource.ResourceException: Error in recovery
    at com.atomikos.datasource.xa.XATransactionalResource.recoverXidsFromXAResource(XATransactionalResource.java:565) [transactions-jta-3.9.3.jar:na]
    at com.atomikos.datasource.xa.XATransactionalResource.recover(XATransactionalResource.java:512) [transactions-jta-3.9.3.jar:na]
    at com.atomikos.datasource.xa.XATransactionalResource.recoverXidsFromResourceIfNecessary(XATransactionalResource.java:615) [transactions-jta-3.9.3.jar:na]
    at com.atomikos.datasource.xa.XATransactionalResource.endRecovery(XATransactionalResource.java:583) [transactions-jta-3.9.3.jar:na]
    at com.atomikos.icatch.imp.TransactionServiceImp.recover(TransactionServiceImp.java:558) [transactions-3.9.3.jar:na]
    at com.atomikos.datasource.xa.XATransactionalResource.setRecoveryService(XATransactionalResource.java:435) [transactions-jta-3.9.3.jar:na]
    at com.atomikos.icatch.system.Configuration.installRecoveryService(Configuration.java:260) [transactions-3.9.3.jar:na]
    at com.atomikos.icatch.imp.TransactionServiceImp.prepareConfigurationForPresumedAbortIfNecessary(TransactionServiceImp.java:581)

這個錯誤折騰了好久。緣由基本就是程序使用的sqlserver鏈接驅動版本與數據庫dll的版本不一致，嘗試如下步驟：

1.檢查pom文件

mssql-jdbc版本，我這裏是6.4.0.jre8。那麼就去微軟官網下同版本驅動，把驅動裏面的sqljdbc_xa.dll丟帶相應文件夾下，這個的詳細操做網上不少。

2.sqljdbc_auth.dll

把驅動中的sqljdbc_auth.dll丟到C:\Windows\System32下，而後重啓sqlserver服務。

3.都沒用..

是的，我試了一下都沒用，在這裏卡了好幾個小時，可是個人直覺告訴我仍是版本問題，因此我又去看了一眼pom文件。而後我發現了sqljdbc4這個包，那麼mssql-jdbc包又是幹嗎的，都是sqlserver的jdbc驅動嗎，是否是重複了？而後我把sqljdbc4包刪了，世界恢復了正常，程序不報異常了。這兩個應該都是sqlserver的jdbc驅動，我也沒找到區別在哪，可是官網頁面使用的是mssql-jdbc的驅動，保持一致就行了。

<dependency>
            <groupId>com.microsoft.sqlserver</groupId>
            <artifactId>sqljdbc4</artifactId>
            <version>4.0</version>
        </dependency>

以上就是我用XA遇到的一些問題，最坑的就是sqlserver數據庫這一塊的配置了。可是根本緣由仍是本身用以前沒有好好的讀一遍官網的使用說明文檔，白白的浪費了時間。教訓就是用以前有官網就去官網，官網有例子就改例子，有文檔就先讀文檔，別去百度裏瞎搜。

結束語

分佈式事務或者說，就分佈式、微服務架構的系統如何保證數據的一致性這一點來考慮，固然這是一個很大的話題，徹底應該獨立一篇文章出來討論。在MQ中，你能夠選擇使用回執或者事務保持一致性。在SpringCloud你可使用Hystrix的fallback或者TCC（Try-Confirm-Cancel）模式。又或者說存儲每一次的數據操做或者說儲存沒一個事件，那麼當發生異常的時候咱們可以根據歷史事件從新生成數據的事件溯源（Event Sourcing）模式。等等這些都是用非事務的方式來確保數據一致。

附錄

微軟官網：Understanding XA Transactions
atomikos： Configuring TransactionsEssentials®

感謝博客的分析文章：
codin：codin

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程