目錄1.Spring Batch框架工作原理2.示例概述3. Maven配置4. Spring Boot 配置5. 創(chuàng)建實(shí)體模型6. 配置 Spring Batch Job7. 處理數(shù)據(jù)8.測(cè)試Spring Batch 示例

我將向您展示如何使用Spring Boot創(chuàng)建一個(gè)的Spring Batch的Hello World示例。

(循序漸進(jìn))

因此，如果您是Spring Batch的初學(xué)者，您一定會(huì)喜歡本指南。

準(zhǔn)備好了嗎?

如果您想了解更多關(guān)于Spring Batch的信息，請(qǐng)?jiān)L問(wèn)

Spring Batch教程頁(yè)面。

1.Spring Batch框架工作原理

在深入研究代碼之前，讓我們先看看Spring Batch框架。它包含以下主要構(gòu)建塊:

一個(gè)Batch(批處理)過(guò)程由一個(gè)Job(作業(yè))組成。這個(gè)實(shí)體封裝了整個(gè)批處理過(guò)程。

一個(gè)Job(作業(yè))可以由一個(gè)或多個(gè)Step(步驟)組成。在大多數(shù)情況下，一個(gè)步驟將讀取數(shù)據(jù)(通過(guò)ItemReader)，處理數(shù)據(jù)(使用ItemProcessor)，然后寫(xiě)入數(shù)據(jù)(通過(guò)ItemWriter)。

JobLauncher處理啟動(dòng)一個(gè)Job(作業(yè))。

最后，JobRepository存儲(chǔ)關(guān)于配置和執(zhí)行的Job(作業(yè))的元數(shù)據(jù)。

為了演示Spring Batch是如何工作的，讓我們構(gòu)建一個(gè)簡(jiǎn)單的Hello World批處理作業(yè)。

在本例中，我們從person.csv文件中讀取一個(gè)人的姓和名。從這些數(shù)據(jù)生成一個(gè)問(wèn)候語(yǔ)。然后將此問(wèn)候語(yǔ)寫(xiě)入greeting .txt文件。

2.示例概述

我們會(huì)使用以下工具/框架:

Spring Batch 4.1 Spring Boot 2.1 Maven 3.6

我們的項(xiàng)目目錄結(jié)構(gòu)如下:

3. Maven配置

我們使用Maven構(gòu)建并運(yùn)行示例。如果還沒(méi)有，下載并安裝Apache Maven。

讓我們使用Spring Initializr來(lái)生成Maven項(xiàng)目。確保選擇Batch作為依賴(lài)項(xiàng)。

單擊Generate Project生成并下載Spring Boot項(xiàng)目模板。在項(xiàng)目的根目錄中，您將發(fā)現(xiàn)一個(gè)pom.xml文件，它是Maven項(xiàng)目的XML配置文件。

為了避免必須管理不同Spring依賴(lài)項(xiàng)的版本兼容性，我們將從spring-boot-starter-parent 父POM繼承默認(rèn)配置。

生成的項(xiàng)目包含Spring Boo Starters管理著不同的Spring依賴(lài)項(xiàng)。

spring-boot-starter-batch導(dǎo)入Spring Boot和Spring Batch依賴(lài)項(xiàng)。

spring-boot-starter-test 包含用于測(cè)試Spring引導(dǎo)應(yīng)用程序的依賴(lài)項(xiàng)。它導(dǎo)入了包括JUnit、Hamcrest和Mockito在內(nèi)的庫(kù)。

這個(gè)也有依賴(lài)性spring-batch-test。這個(gè)庫(kù)包含一些幫助類(lèi)，它們將幫助測(cè)試批處理作業(yè)。

在plugins部分，您將找到Spring Boot Maven插件:spring-boot-maven- plugin。它幫助我們構(gòu)建一個(gè)單一的、可運(yùn)行的uber-jar。這是執(zhí)行和發(fā)布代碼的一種方便方法。此外，插件允許您通過(guò)Maven命令啟動(dòng)示例。

<?xml version='1.0' encoding='UTF-8'?><project xmlns='http://maven.apache.org/POM/4.0.0' xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xsi:schemaLocation='http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd'> <modelVersion>4.0.0</modelVersion> <groupId>com.codenotfound</groupId> <artifactId>spring-batch-hello-world</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>spring-batch-hello-world</name> <description>Spring Batch Hello World Example</description> <url>https://codenotfound.com/spring-batch-example.html</url> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.5.RELEASE</version> <relativePath /> <!-- lookup parent from repository --> </parent> <properties> <java.version>11</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-batch</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.springframework.batch</groupId> <artifactId>spring-batch-test</artifactId> <scope>test</scope> </dependency> </dependencies> <build> <plugins> <plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build></project>4. Spring Boot 配置

我們使用Spring Boot，目的是讓一個(gè)Spring Batch應(yīng)用程序可以“直接運(yùn)行”。首先創(chuàng)建一個(gè)SpringBatchApplication類(lèi)。它包含main()方法，該方法使用Spring Boot的SpringApplication.run()啟動(dòng)應(yīng)用程序。

注意@SpringBootApplication是一個(gè)方便的注解，它添加了:@Configuration、@EnableAutoConfiguration和@ComponentScan。

有關(guān)Spring Boot的更多信息，請(qǐng)查看Spring Boot入門(mén)指南。

默認(rèn)情況下，Spring Batch使用數(shù)據(jù)庫(kù)存儲(chǔ)已配置的批處理作業(yè)上的元數(shù)據(jù)。

在本例中，我們不直接使用數(shù)據(jù)庫(kù)，而是使用基于內(nèi)存映射的Map,運(yùn)行Spring Batch。

spring-boot-starter-batch starter依賴(lài)于spring-boot-starter-jdbc，并將嘗試實(shí)例化數(shù)據(jù)源。添加 exclude = {DataSourceAutoConfiguration.class}注解中添加@SpringBootApplication。這可以防止Spring Boot為數(shù)據(jù)庫(kù)連接自動(dòng)配置DataSource。

package com.codenotfound;import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;import org.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration;@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})public class SpringBatchApplication { public static void main(String[] args) { SpringApplication.run(SpringBatchApplication.class, args); }}5. 創(chuàng)建實(shí)體模型

在處理數(shù)據(jù)之前，通常希望將其映射到實(shí)體對(duì)象。

在我的示例中，輸入數(shù)據(jù)存儲(chǔ)在src/test/resources/csv/persons.csv文件中。

文件中的每一行都包含一個(gè)逗號(hào)分隔的姓和名。

John, DoeJane, Doe

我們將把這個(gè)數(shù)據(jù)映射到Person對(duì)象。這是一個(gè)包含姓和名的簡(jiǎn)單POJO。

package com.codenotfound.model;public class Person { private String firstName; private String lastName; public Person() { // default constructor } public String getFirstName() { return firstName; } public void setFirstName(String firstName) { this.firstName = firstName; } public String getLastName() { return lastName; } public void setLastName(String lastName) { this.lastName = lastName; } @Override public String toString() { return firstName + ' ' + lastName; }}6. 配置 Spring Batch Job

我們首先創(chuàng)建一個(gè)BatchConfig類(lèi)，它將配置Spring Batch。類(lèi)頂部的@Configuration注解表明Spring可以使用該類(lèi)作為bean定義的源。

我們添加了@EnableBatchProcessing注解，它支持所有所需Spring Batch特性。它還提供了設(shè)置批處理作業(yè)的基本配置。

通過(guò)添加這個(gè)注解會(huì)需要很多操作。下面是@EnableBatchProcessing創(chuàng)建的概述:

JobRepository (bean名稱(chēng) 'jobRepository') JobLauncher (bean名稱(chēng) 'jobLauncher') JobRegistry (bean名稱(chēng) 'jobRegistry') JobExplorer (bean名稱(chēng) 'jobExplorer') PlatformTransactionManager (bean名稱(chēng) 'transactionManager') JobBuilderFactory (bean名稱(chēng)'jobBuilders')，它可以方便地防止您必須將作業(yè)存儲(chǔ)庫(kù)注入到每個(gè)Job(作業(yè))中 StepBuilderFactory (bean名稱(chēng) 'stepBuilders')，以方便您避免將作業(yè)存儲(chǔ)庫(kù)和事務(wù)管理器注入到每個(gè)Step(步驟)中

為了使Spring Batch使用基于Map的JobRepository，我們需要擴(kuò)展DefaultBatchConfigurer。重寫(xiě)setDataSource()方法以不設(shè)置DataSource。這將導(dǎo)致自動(dòng)配置使用基于Map的JobRepository。

package com.codenotfound.batch;import javax.sql.DataSource;import org.springframework.batch.core.configuration.annotation.DefaultBatchConfigurer;import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;import org.springframework.context.annotation.Configuration;@Configuration@EnableBatchProcessingpublic class BatchConfig extends DefaultBatchConfigurer { @Override public void setDataSource(DataSource dataSource) { // initialize will use a Map based JobRepository (instead of database) }}

現(xiàn)在讓我們繼續(xù)配置Hello World Spring Batch 作業(yè)。

創(chuàng)建一個(gè)HelloWorldJobConfig配置類(lèi)，并用添加@Configuration注解。

在HelloWorldJobConfig Bean中，我們使用JobBuilderFactory來(lái)創(chuàng)建作業(yè)。我們傳遞Job(作業(yè))的名稱(chēng)和需要運(yùn)行的Step(步驟)。

注意在helloWorlJob()Bean中,Spring將自動(dòng)注入 jobBuilders 和 stepBuilders Beans。

在HelloWorldStepBean中定義了我們的步驟執(zhí)行的不同項(xiàng)。我們使用StepBuilderFactory創(chuàng)建步驟。

首先，我們傳入步驟的名稱(chēng)。使用chunk()，我們指定每個(gè)事務(wù)中處理的項(xiàng)的數(shù)量。Chunk還指定步驟的輸入(Person)和輸出(String)類(lèi)型。然后，我們將ItemReader (reader)、ItemProcessor (processor)和ItemWriter (writer)添加到步驟中。

我們使用FlatFileItemReader讀取person CSV文件。這個(gè)類(lèi)提供了讀取和解析CSV文件的基本功能。

有一個(gè)FlatFileItemReaderBuilder實(shí)現(xiàn)，它允許我們創(chuàng)建一個(gè)FlatFileItemReader。我們首先指定讀取文件中每一行的結(jié)果是Person對(duì)象。然后，我們將使用name()方法為FlatFileItemReader添加一個(gè)名稱(chēng)，并指定需要讀取的資源(在本例中是persons.csv文件)。

為了讓FlatFileItemReader處理我們的文件，我們需要指定一些額外的信息。首先，我們定義文件中的數(shù)據(jù)是帶分隔符的(默認(rèn)為逗號(hào)作為分隔符)。

我們還指定了如何將一行中的每個(gè)字段映射到Person對(duì)象。這是使用names()來(lái)完成的，通過(guò)將名稱(chēng)與對(duì)象上的setter匹配，可以使Spring Batch映射字段。在本文的例子中，一行的第一個(gè)字段將使用firstName setter進(jìn)行映射。為了實(shí)現(xiàn)這一點(diǎn)，我們還需要指定targetType,即Person對(duì)象。

注意：

names(new String[] {'firstName', 'lastName'})

PersonItemProcessor處理數(shù)據(jù)。它將一個(gè)Person轉(zhuǎn)換成一個(gè)問(wèn)候String。我們將在下面的一個(gè)單獨(dú)的類(lèi)中定義它。

一旦數(shù)據(jù)被處理，我們將把它寫(xiě)入一個(gè)文本文件。我們使用FlatFileItemWriter來(lái)完成這項(xiàng)任務(wù)。

我們使用FlatFileItemWriterBuilder實(shí)現(xiàn)來(lái)創(chuàng)建一個(gè)FlatFileItemWriter。我們?yōu)閣riter添加一個(gè)名稱(chēng)，并指定需要將數(shù)據(jù)寫(xiě)入其中的資源(在本例中是greeting.txt文件)。

FlatFileItemWriter需要知道如何將生成的輸出轉(zhuǎn)換成可以寫(xiě)入文件的單個(gè)字符串。在本例中，我們的輸出已經(jīng)是一個(gè)字符串，我們可以使用PassThroughLineAggregator。這是最基本的實(shí)現(xiàn)，它假定對(duì)象已經(jīng)是一個(gè)字符串。

package com.codenotfound.batch;import org.springframework.batch.core.Job;import org.springframework.batch.core.Step;import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;import org.springframework.batch.item.file.FlatFileItemReader;import org.springframework.batch.item.file.FlatFileItemWriter;import org.springframework.batch.item.file.builder.FlatFileItemReaderBuilder;import org.springframework.batch.item.file.builder.FlatFileItemWriterBuilder;import org.springframework.batch.item.file.transform.PassThroughLineAggregator;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.core.io.ClassPathResource;import org.springframework.core.io.FileSystemResource;import com.codenotfound.model.Person;@Configurationpublic class HelloWorldJobConfig { @Bean public Job helloWorlJob(JobBuilderFactory jobBuilders, StepBuilderFactory stepBuilders) { return jobBuilders.get('helloWorldJob').start(helloWorldStep(stepBuilders)).build(); } @Bean public Step helloWorldStep(StepBuilderFactory stepBuilders) { return stepBuilders.get('helloWorldStep').<Person, String>chunk(10).reader(reader()).processor(processor()).writer(writer()).build(); } @Bean public FlatFileItemReader<Person> reader() { return new FlatFileItemReaderBuilder<Person>().name('personItemReader').resource(new ClassPathResource('csv/persons.csv')).delimited().names(new String[] {'firstName', 'lastName'}).targetType(Person.class).build(); } @Bean public PersonItemProcessor processor() { return new PersonItemProcessor(); } @Bean public FlatFileItemWriter<String> writer() { return new FlatFileItemWriterBuilder<String>().name('greetingItemWriter').resource(new FileSystemResource( 'target/test-outputs/greetings.txt')).lineAggregator(new PassThroughLineAggregator<>()).build(); }}7. 處理數(shù)據(jù)

在大多數(shù)情況下，您將希望在批處理作業(yè)期間應(yīng)用一些數(shù)據(jù)處理。可以使用ItemProcessor來(lái)操作。

在我們的示例中，我們將Person對(duì)象轉(zhuǎn)換為一個(gè)簡(jiǎn)單的問(wèn)候語(yǔ)String

為此，我們創(chuàng)建一個(gè)實(shí)現(xiàn)ItemProcessor接口的PersonItemProcessor。我們實(shí)現(xiàn)了process()方法，它將人名和姓氏添加到字符串中。

調(diào)試的過(guò)程中，我們記錄日志結(jié)果。

package com.codenotfound.batch;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springframework.batch.item.ItemProcessor;import com.codenotfound.model.Person;public class PersonItemProcessor implements ItemProcessor<Person, String> { private static final Logger LOGGER = LoggerFactory.getLogger(PersonItemProcessor.class); @Override public String process(Person person) throws Exception { String greeting = 'Hello ' + person.getFirstName() + ' '+ person.getLastName() + '!'; LOGGER.info('converting ’{}’ into ’{}’', person, greeting); return greeting; }}8.測(cè)試Spring Batch 示例

為了測(cè)試本的例子，我們創(chuàng)建了一個(gè)基本的單元測(cè)試用例。它將運(yùn)行批處理作業(yè)并檢查是否成功完成。

我們使用@RunWith和@SpringBootTest測(cè)試注解告訴JUnit使用Spring的測(cè)試支持運(yùn)行，并使用SpringBoot的支持引導(dǎo)。

Spring Batch附帶一個(gè)JobLauncherTestUtils實(shí)用程序類(lèi)，用于測(cè)試批處理作業(yè)。

我們首先創(chuàng)建一個(gè)內(nèi)部BatchTestConfig類(lèi)，將helloWorld作業(yè)添加到JobLauncherTestUtils bean中。然后使用此bean的launchJob()方法運(yùn)行批處理作業(yè)。

如果執(zhí)行的作業(yè)沒(méi)有任何錯(cuò)誤，則ExitCode的值為COMPLETED。

package com.codenotfound;import static org.assertj.core.api.Assertions.assertThat;import org.junit.Test;import org.junit.runner.RunWith;import org.springframework.batch.core.Job;import org.springframework.batch.core.JobExecution;import org.springframework.batch.core.launch.NoSuchJobException;import org.springframework.batch.test.JobLauncherTestUtils;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.boot.test.context.SpringBootTest;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.context.annotation.Import;import org.springframework.test.context.junit4.SpringRunner;import com.codenotfound.batch.job.BatchConfig;import com.codenotfound.batch.job.HelloWorldJobConfig;@RunWith(SpringRunner.class)@SpringBootTest( classes = {SpringBatchApplicationTests.BatchTestConfig.class})public class SpringBatchApplicationTests { @Autowired private JobLauncherTestUtils jobLauncherTestUtils; @Test public void testHelloWorldJob() throws Exception { JobExecution jobExecution = jobLauncherTestUtils.launchJob(); assertThat(jobExecution.getExitStatus().getExitCode()).isEqualTo('COMPLETED'); } @Configuration @Import({BatchConfig.class, HelloWorldJobConfig.class}) static class BatchTestConfig { @Autowired private Job helloWorlJob; @Bean JobLauncherTestUtils jobLauncherTestUtils()throws NoSuchJobException { JobLauncherTestUtils jobLauncherTestUtils = new JobLauncherTestUtils(); jobLauncherTestUtils.setJob(helloWorlJob); return jobLauncherTestUtils; } }}

要觸發(fā)上述測(cè)試用例，請(qǐng)?jiān)陧?xiàng)目根文件夾中打開(kāi)命令提示符，并執(zhí)行以下Maven命令:

mvn test

結(jié)果是構(gòu)建成功，并在此期間執(zhí)行批處理作業(yè)。

. ____ _ __ _ _/ / ___’_ __ _ _(_)_ __ __ _ ( ( )___ | ’_ | ’_| | ’_ / _` | / ___)| |_)| | | | | || (_| | ) ) ) ) ’ |____| .__|_| |_|_| |___, | / / / /=========|_|==============|___/=/_/_/_/:: Spring Boot ::(v2.1.5.RELEASE)2019-05-30 19:11:12.784 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : Starting SpringBatchApplicationTests on DESKTOP-2RB3C1U with PID 14588 (started by Codenotfound in C:UsersCodenotfoundreposspring-batchspring-batch-hello-world)2019-05-30 19:11:12.785 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : No active profile set, falling back to default profiles: default2019-05-30 19:11:13.305 WARN 14588 --- [ main] o.s.b.c.c.a.DefaultBatchConfigurer : No datasource was provided...using a Map based JobRepository2019-05-30 19:11:13.306 WARN 14588 --- [ main] o.s.b.c.c.a.DefaultBatchConfigurer : No transaction manager was provided, using a ResourcelessTransactionManager2019-05-30 19:11:13.328 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : No TaskExecutor has been set, defaulting to synchronous executor.2019-05-30 19:11:13.350 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : Started SpringBatchApplicationTests in 0.894 seconds (JVM running for 1.777)2019-05-30 19:11:13.732 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : Job: [SimpleJob: [name=helloWorldJob]] launched with the following parameters: [{random=459672}]2019-05-30 19:11:13.759 INFO 14588 --- [ main] o.s.batch.core.job.SimpleStepHandler : Executing step: [helloWorldStep]2019-05-30 19:11:13.812 INFO 14588 --- [ main] c.c.batch.PersonItemProcessor : converting ’John Doe’ into ’Hello John Doe!’2019-05-30 19:11:13.822 INFO 14588 --- [ main] c.c.batch.PersonItemProcessor : converting ’Jane Doe’ into ’Hello Jane Doe!’2019-05-30 19:11:13.842 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : Job: [SimpleJob: [name=helloWorldJob]] completed with the following parameters: [{random=459672}] and the following status: [COMPLETED][INFO] Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 1.953 s - in com.codenotfound.SpringBatchApplicationTests[INFO][INFO] Results:[INFO][INFO] Tests run: 1, Failures: 0, Errors: 0, Skipped: 0[INFO][INFO] ------------------------------------------------------------------------[INFO] BUILD SUCCESS[INFO] ------------------------------------------------------------------------[INFO] Total time: 6.852 s[INFO] Finished at: 2019-05-30T19:11:14+02:00[INFO] ------------------------------------------------------------------------

您可以在target/test-output /greeting .txt文件中找到結(jié)果:

Hello John Doe!Hello Jane Doe!

如果您想運(yùn)行上面的代碼示例，您可以在這里獲得完整的源代碼。

在本入門(mén)教程中，您學(xué)習(xí)了如何使用Spring Boot和Maven創(chuàng)建一個(gè)簡(jiǎn)單的Spring Batch示例。

到此這篇關(guān)于Spring Batch 入門(mén)示例的文章就介紹到這了,更多相關(guān)Spring Batch 入門(mén)內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！