1. 为什么企业需要批处理系统在金融、电信、零售等行业中每天都会产生海量的数据需要处理。比如银行夜间需要对当天的交易记录进行对账电商平台需要批量更新商品库存这些场景都需要可靠的数据批处理能力。传统的手写脚本方式存在诸多痛点缺乏事务管理中途失败难以恢复没有任务监控机制执行情况不可见性能优化困难处理百万级数据效率低下无法复用公共组件重复开发成本高Spring Batch正是为解决这些问题而生的企业级批处理框架。我在某银行核心系统升级项目中就用它实现了日均3000万笔交易记录的夜间批处理处理时长从原来的6小时缩短到90分钟。2. Spring Batch核心架构解析2.1 关键组件拓扑Spring Batch采用分层架构设计主要包含以下核心组件组件职责说明典型实现类JobRepository存储作业执行元数据JdbcJobRepositoryJobLauncher启动作业的入口SimpleJobLauncherJob批处理作业的顶级容器SimpleJobStep作业的独立执行单元TaskletStep, ChunkStepItemReader数据读取接口JdbcCursorItemReaderItemProcessor业务处理逻辑自定义实现ItemWriter数据写出接口JpaItemWriter2.2 事务处理机制Spring Batch通过以下机制确保数据一致性默认每个Chunk数据块作为一个事务边界采用乐观锁控制并发提供SkipPolicy实现容错处理支持RetryTemplate重试机制重要提示处理百万级数据时建议合理设置chunk-size通常500-2000过小会导致事务开销过大过大则容易内存溢出。3. 实战搭建订单对账系统3.1 环境准备!-- pom.xml关键依赖 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-batch/artifactId /dependency dependency groupIdcom.h2database/groupId artifactIdh2/artifactId scoperuntime/scope /dependency3.2 核心代码实现Configuration EnableBatchProcessing public class ReconciliationJobConfig { Autowired private JobBuilderFactory jobBuilderFactory; Autowired private StepBuilderFactory stepBuilderFactory; Bean public Job dailyReconciliationJob() { return jobBuilderFactory.get(dailyReconciliation) .start(importStep()) .next(verifyStep()) .next(exportStep()) .build(); } Bean public Step importStep() { return stepBuilderFactory.get(import) .Transaction, Transactionchunk(1000) .reader(flatFileItemReader()) .processor(transactionValidator()) .writer(jdbcBatchItemWriter()) .build(); } // 其他Step定义... }3.3 性能优化技巧读写分离使用JdbcCursorItemReader替代JdbcPagingItemReader批处理优化设置rewriteBatchedStatementstrue内存控制配置fetchSize避免OOM并行处理使用AsyncItemProcessorAsyncItemWriter组合4. 生产环境部署方案4.1 高可用架构[调度中心] - [消息队列] - [多个Worker节点] ↑ [监控告警系统]4.2 关键配置参数# application.properties spring.batch.job.enabledfalse # 禁止自动启动作业 spring.batch.initialize-schemaalways # 首次运行初始化表结构 spring.batch.table-prefixBATCH_ # 元数据表前缀 # 线程池配置 spring.task.execution.pool.core-size8 spring.task.execution.pool.max-size165. 常见问题排查指南5.1 作业卡住问题检查BATCH_JOB_EXECUTION表的STATUS字段查询BATCH_STEP_EXECUTION的EXIT_CODE查看LAST_UPDATED时间是否持续更新5.2 性能瓶颈分析-- 分析慢步骤 SELECT STEP_NAME, AVG(DURATION) FROM BATCH_STEP_EXECUTION GROUP BY STEP_NAME ORDER BY 2 DESC;5.3 事务超时处理Bean public Step exportStep() { return stepBuilderFactory.get(export) .Data, Datachunk(500) .reader(...) .writer(...) .transactionAttribute( new DefaultTransactionAttribute( TransactionDefinition.PROPAGATION_REQUIRED, PT30M) // 设置30分钟超时 ) .build(); }6. 进阶开发技巧自定义监听器实现JobExecutionListener支持邮件通知参数传递使用JobParameters在Step间共享数据动态决策通过JobExecutionDecider实现流程分支测试方案使用SpringBatchTest辅助类编写集成测试我在实际项目中发现合理使用分区处理(Partitioning)可以将10小时的任务缩短到2小时。具体做法是将数据按ID范围划分每个分区由独立线程处理Bean public Step masterStep() { return stepBuilderFactory.get(masterStep) .partitioner(slaveStep, partitioner()) .step(slaveStep()) .gridSize(10) .taskExecutor(taskExecutor()) .build(); }对于需要处理TB级数据的场景建议结合Spring Cloud Data Flow搭建分布式批处理集群。通过将Job拆分为多个Task可以实现横向扩展和弹性调度。