Spring Batch 入門級示例教程

我將向您展現如何使用Spring Boot建立一個的Spring Batch的Hello World示例。php

(按部就班)html

所以，若是您是Spring Batch的初學者，您必定會喜歡本指南。java

準備好了嗎?git

若是您想了解更多關於Spring Batch的信息，請訪問Spring Batch教程頁面。github

1.Spring Batch框架工做原理

在深刻研究代碼以前，讓咱們先看看Spring Batch框架。它包含如下主要構建塊:web

一個Batch(批處理)過程由一個Job(做業)組成。這個實體封裝了整個批處理過程。spring

一個Job(做業)能夠由一個或多個Step(步驟)組成。在大多數狀況下，一個步驟將讀取數據(經過ItemReader)，處理數據(使用ItemProcessor)，而後寫入數據(經過ItemWriter)。sql

JobLauncher處理啓動一個Job(做業)。數據庫

最後，JobRepository存儲關於配置和執行的Job(做業)的元數據。apache

爲了演示Spring Batch是如何工做的，讓咱們構建一個簡單的Hello World批處理做業。

在本例中，咱們從person.csv文件中讀取一我的的姓和名。從這些數據生成一個問候語。而後將此問候語寫入greeting .txt文件。

2.示例概述

咱們會使用如下工具/框架:

Spring Batch 4.1
Spring Boot 2.1
Maven 3.6

咱們的項目目錄結構以下:

3. Maven配置

咱們使用Maven構建並運行示例。若是尚未，下載並安裝Apache Maven。

讓咱們使用Spring Initializr來生成Maven項目。確保選擇Batch做爲依賴項。

單擊Generate Project生成並下載Spring Boot項目模板。在項目的根目錄中，您將發現一個pom.xml文件，它是Maven項目的XML配置文件。

爲了不必須管理不一樣Spring依賴項的版本兼容性，咱們將從spring-boot-starter-parent 父POM繼承默認配置。

生成的項目包含Spring Boo Starters管理着不一樣的Spring依賴項。

spring-boot-starter-batch導入Spring Boot和Spring Batch依賴項。

spring-boot-starter-test 包含用於測試Spring引導應用程序的依賴項。它導入了包括JUnit、Hamcrest和Mockito在內的庫。

這個也有依賴性spring-batch-test。這個庫包含一些幫助類，它們將幫助測試批處理做業。

在plugins部分，您將找到Spring Boot Maven插件:spring-boot-maven- plugin。它幫助咱們構建一個單一的、可運行的uber-jar。這是執行和發佈代碼的一種方便方法。此外，插件容許您經過Maven命令啓動示例。

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.codenotfound</groupId> <artifactId>spring-batch-hello-world</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>spring-batch-hello-world</name> <description>Spring Batch Hello World Example</description> <url>https://codenotfound.com/spring-batch-example.html</url> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.5.RELEASE</version> <relativePath /> <!-- lookup parent from repository --> </parent> <properties> <java.version>11</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-batch</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.springframework.batch</groupId> <artifactId>spring-batch-test</artifactId> <scope>test</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> </project>

4. Spring Boot 配置

咱們使用Spring Boot，目的是讓一個Spring Batch應用程序能夠「直接運行」。首先建立一個SpringBatchApplication類。它包含main()方法，該方法使用Spring Boot的SpringApplication.run()啓動應用程序。

注意 @SpringBootApplication是一個方便的註解，它添加了:@Configuration、@EnableAutoConfiguration和@ComponentScan。

有關Spring Boot的更多信息，請查看Spring Boot入門指南。

默認狀況下，Spring Batch使用數據庫存儲已配置的批處理做業上的元數據。

在本例中，咱們不直接使用數據庫，而是使用基於內存映射的Map,運行Spring Batch。

spring-boot-starter-batch starter依賴於spring-boot-starter-jdbc，並將嘗試實例化數據源。添加 exclude = {DataSourceAutoConfiguration.class}註解中添加@SpringBootApplication。這能夠防止Spring Boot爲數據庫鏈接自動配置DataSource。

package com.codenotfound; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration; @SpringBootApplication(exclude = {DataSourceAutoConfiguration.class}) public class SpringBatchApplication { public static void main(String[] args) { SpringApplication.run(SpringBatchApplication.class, args); } }

5. 建立實體模型

在處理數據以前，一般但願將其映射到實體對象。

在個人示例中，輸入數據存儲在src/test/resources/csv/persons.csv文件中。

文件中的每一行都包含一個逗號分隔的姓和名。

John, Doe
Jane, Doe

咱們將把這個數據映射到Person對象。這是一個包含姓和名的簡單POJO。

package com.codenotfound.model; public class Person { private String firstName; private String lastName; public Person() { // default constructor } public String getFirstName() { return firstName; } public void setFirstName(String firstName) { this.firstName = firstName; } public String getLastName() { return lastName; } public void setLastName(String lastName) { this.lastName = lastName; } @Override public String toString() { return firstName + " " + lastName; } }

6. 配置 Spring Batch Job

咱們首先建立一個BatchConfig類，它將配置Spring Batch。類頂部的@Configuration註解代表Spring可使用該類做爲bean定義的源。

咱們添加了@EnableBatchProcessing註解，它支持全部所需Spring Batch特性。它還提供了設置批處理做業的基本配置。

經過添加這個註解會須要不少操做。下面是@EnableBatchProcessing建立的概述:

JobRepository (bean名稱 "jobRepository")
JobLauncher (bean名稱 "jobLauncher")
JobRegistry (bean名稱 "jobRegistry")
JobExplorer (bean名稱 "jobExplorer")
PlatformTransactionManager (bean名稱 "transactionManager")
JobBuilderFactory (bean名稱"jobBuilders")，它能夠方便地防止您必須將做業存儲庫注入到每一個Job(做業)中
StepBuilderFactory (bean名稱 "stepBuilders")，以方便您避免將做業存儲庫和事務管理器注入到每一個Step(步驟)中

爲了使Spring Batch使用基於Map的JobRepository，咱們須要擴展DefaultBatchConfigurer。重寫setDataSource()方法以不設置DataSource。這將致使自動配置使用基於Map的JobRepository。

package com.codenotfound.batch; import javax.sql.DataSource; import org.springframework.batch.core.configuration.annotation.DefaultBatchConfigurer; import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing; import org.springframework.context.annotation.Configuration; @Configuration @EnableBatchProcessing public class BatchConfig extends DefaultBatchConfigurer { @Override public void setDataSource(DataSource dataSource) { // initialize will use a Map based JobRepository (instead of database) } }

如今讓咱們繼續配置Hello World Spring Batch 做業。

建立一個HelloWorldJobConfig配置類，並用添加@Configuration註解。

在HelloWorldJobConfig Bean中，咱們使用JobBuilderFactory來建立做業。咱們傳遞Job(做業)的名稱和須要運行的Step(步驟)。

注意在helloWorlJob()Bean中,Spring將自動注入 jobBuilders 和 stepBuilders Beans。

在HelloWorldStepBean中定義了咱們的步驟執行的不一樣項。咱們使用StepBuilderFactory建立步驟。

首先，咱們傳入步驟的名稱。使用chunk()，咱們指定每一個事務中處理的項的數量。Chunk還指定步驟的輸入(Person)和輸出(String)類型。而後，咱們將ItemReader (reader)、ItemProcessor (processor)和ItemWriter (writer)添加到步驟中。

咱們使用FlatFileItemReader讀取person CSV文件。這個類提供了讀取和解析CSV文件的基本功能。

有一個FlatFileItemReaderBuilder實現，它容許咱們建立一個FlatFileItemReader。咱們首先指定讀取文件中每一行的結果是Person對象。而後，咱們將使用name()方法爲FlatFileItemReader添加一個名稱，並指定須要讀取的資源(在本例中是persons.csv文件)。

爲了讓FlatFileItemReader處理咱們的文件，咱們須要指定一些額外的信息。首先，咱們定義文件中的數據是帶分隔符的(默認爲逗號做爲分隔符)。

咱們還指定了如何將一行中的每一個字段映射到Person對象。這是使用names()來完成的，經過將名稱與對象上的setter匹配，可使Spring Batch映射字段。在本文的例子中，一行的第一個字段將使用firstName setter進行映射。爲了實現這一點，咱們還須要指定targetType,即Person對象。

注意：

names(new String[] {"firstName", "lastName"})

PersonItemProcessor處理數據。它將一個Person轉換成一個問候String。咱們將在下面的一個單獨的類中定義它。

一旦數據被處理，咱們將把它寫入一個文本文件。咱們使用FlatFileItemWriter來完成這項任務。

咱們使用FlatFileItemWriterBuilder實現來建立一個FlatFileItemWriter。咱們爲writer添加一個名稱，並指定須要將數據寫入其中的資源(在本例中是greeting.txt文件)。

FlatFileItemWriter須要知道如何將生成的輸出轉換成能夠寫入文件的單個字符串。在本例中，咱們的輸出已是一個字符串，咱們可使用PassThroughLineAggregator。這是最基本的實現，它假定對象已是一個字符串。

package com.codenotfound.batch; import org.springframework.batch.core.Job; import org.springframework.batch.core.Step; import org.springframework.batch.core.configuration.annotation.JobBuilderFactory; import org.springframework.batch.core.configuration.annotation.StepBuilderFactory; import org.springframework.batch.item.file.FlatFileItemReader; import org.springframework.batch.item.file.FlatFileItemWriter; import org.springframework.batch.item.file.builder.FlatFileItemReaderBuilder; import org.springframework.batch.item.file.builder.FlatFileItemWriterBuilder; import org.springframework.batch.item.file.transform.PassThroughLineAggregator; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.core.io.ClassPathResource; import org.springframework.core.io.FileSystemResource; import com.codenotfound.model.Person; @Configuration public class HelloWorldJobConfig { @Bean public Job helloWorlJob(JobBuilderFactory jobBuilders, StepBuilderFactory stepBuilders) { return jobBuilders.get("helloWorldJob") .start(helloWorldStep(stepBuilders)).build(); } @Bean public Step helloWorldStep(StepBuilderFactory stepBuilders) { return stepBuilders.get("helloWorldStep") .<Person, String>chunk(10).reader(reader()) .processor(processor()).writer(writer()).build(); } @Bean public FlatFileItemReader<Person> reader() { return new FlatFileItemReaderBuilder<Person>() .name("personItemReader") .resource(new ClassPathResource("csv/persons.csv")) .delimited().names(new String[] {"firstName", "lastName"}) .targetType(Person.class).build(); } @Bean public PersonItemProcessor processor() { return new PersonItemProcessor(); } @Bean public FlatFileItemWriter<String> writer() { return new FlatFileItemWriterBuilder<String>() .name("greetingItemWriter") .resource(new FileSystemResource( "target/test-outputs/greetings.txt")) .lineAggregator(new PassThroughLineAggregator<>()).build(); } }

7. 處理數據

在大多數狀況下，您將但願在批處理做業期間應用一些數據處理。可使用ItemProcessor來操做。

在咱們的示例中，咱們將Person對象轉換爲一個簡單的問候語String

爲此，咱們建立一個實現ItemProcessor接口的PersonItemProcessor。咱們實現了process()方法，它將人名和姓氏添加到字符串中。

調試的過程當中，咱們記錄日誌結果。

package com.codenotfound.batch; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.batch.item.ItemProcessor; import com.codenotfound.model.Person; public class PersonItemProcessor implements ItemProcessor<Person, String> { private static final Logger LOGGER = LoggerFactory.getLogger(PersonItemProcessor.class); @Override public String process(Person person) throws Exception { String greeting = "Hello " + person.getFirstName() + " " + person.getLastName() + "!"; LOGGER.info("converting '{}' into '{}'", person, greeting); return greeting; } }

8.測試Spring Batch 示例

爲了測試本的例子，咱們建立了一個基本的單元測試用例。它將運行批處理做業並檢查是否成功完成。

咱們使用@RunWith和@SpringBootTest測試註解告訴JUnit使用Spring的測試支持運行，並使用SpringBoot的支持引導。

Spring Batch附帶一個JobLauncherTestUtils實用程序類，用於測試批處理做業。

咱們首先建立一個內部BatchTestConfig類，將helloWorld做業添加到JobLauncherTestUtils bean中。而後使用此bean的launchJob()方法運行批處理做業。

若是執行的做業沒有任何錯誤，則ExitCode的值爲COMPLETED。

package com.codenotfound; import static org.assertj.core.api.Assertions.assertThat; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.batch.core.Job; import org.springframework.batch.core.JobExecution; import org.springframework.batch.core.launch.NoSuchJobException; import org.springframework.batch.test.JobLauncherTestUtils; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.context.annotation.Import; import org.springframework.test.context.junit4.SpringRunner; import com.codenotfound.batch.job.BatchConfig; import com.codenotfound.batch.job.HelloWorldJobConfig; @RunWith(SpringRunner.class) @SpringBootTest( classes = {SpringBatchApplicationTests.BatchTestConfig.class}) public class SpringBatchApplicationTests { @Autowired private JobLauncherTestUtils jobLauncherTestUtils; @Test public void testHelloWorldJob() throws Exception { JobExecution jobExecution = jobLauncherTestUtils.launchJob(); assertThat(jobExecution.getExitStatus().getExitCode()) .isEqualTo("COMPLETED"); } @Configuration @Import({BatchConfig.class, HelloWorldJobConfig.class}) static class BatchTestConfig { @Autowired private Job helloWorlJob; @Bean JobLauncherTestUtils jobLauncherTestUtils() throws NoSuchJobException { JobLauncherTestUtils jobLauncherTestUtils = new JobLauncherTestUtils(); jobLauncherTestUtils.setJob(helloWorlJob); return jobLauncherTestUtils; } } }

要觸發上述測試用例，請在項目根文件夾中打開命令提示符，並執行如下Maven命令:

mvn test

結果是構建成功，並在此期間執行批處理做業。

.   ____          _            __ _ _
/\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|_| |_\__, | / / / / =========|_|==============|___/=/_/_/_/ :: Spring Boot :: (v2.1.5.RELEASE) 2019-05-30 19:11:12.784 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : Starting SpringBatchApplicationTests on DESKTOP-2RB3C1U with PID 14588 (started by Codenotfound in C:\Users\Codenotfound\repos\spring-batch\spring-batch-hello-world) 2019-05-30 19:11:12.785 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : No active profile set, falling back to default profiles: default 2019-05-30 19:11:13.305 WARN 14588 --- [ main] o.s.b.c.c.a.DefaultBatchConfigurer : No datasource was provided...using a Map based JobRepository 2019-05-30 19:11:13.306 WARN 14588 --- [ main] o.s.b.c.c.a.DefaultBatchConfigurer : No transaction manager was provided, using a ResourcelessTransactionManager 2019-05-30 19:11:13.328 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : No TaskExecutor has been set, defaulting to synchronous executor. 2019-05-30 19:11:13.350 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : Started SpringBatchApplicationTests in 0.894 seconds (JVM running for 1.777) 2019-05-30 19:11:13.732 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : Job: [SimpleJob: [name=helloWorldJob]] launched with the following parameters: [{random=459672}] 2019-05-30 19:11:13.759 INFO 14588 --- [ main] o.s.batch.core.job.SimpleStepHandler : Executing step: [helloWorldStep] 2019-05-30 19:11:13.812 INFO 14588 --- [ main] c.c.batch.PersonItemProcessor : converting 'John Doe' into 'Hello John Doe!' 2019-05-30 19:11:13.822 INFO 14588 --- [ main] c.c.batch.PersonItemProcessor : converting 'Jane Doe' into 'Hello Jane Doe!' 2019-05-30 19:11:13.842 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : Job: [SimpleJob: [name=helloWorldJob]] completed with the following parameters: [{random=459672}] and the following status: [COMPLETED] [INFO] Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 1.953 s - in com.codenotfound.SpringBatchApplicationTests [INFO] [INFO] Results: [INFO] [INFO] Tests run: 1, Failures: 0, Errors: 0, Skipped: 0 [INFO] [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 6.852 s [INFO] Finished at: 2019-05-30T19:11:14+02:00 [INFO] ------------------------------------------------------------------------

您能夠在target/test-output /greeting .txt文件中找到結果:

Hello John Doe!
Hello Jane Doe!

若是您想運行上面的代碼示例，您能夠在這裏得到完整的源代碼。

在本入門教程中，您學習瞭如何使用Spring Boot和Maven建立一個簡單的Spring Batch示例。

原文連接：codenotfound.com/spring-batc…

做者：codenotfound

譯者：李東