批处理框架 Spring Batch，数据迁移量过大如何保证内存？

绝地灬酷狼 2022-09-10 00:25 4阅读 0赞

**点击关注公众号，实用技术文章****及时了解**![f4296433a5985f2c25097167bd3ae784.png][]

### *来源：blog.csdn.net/topdeveloperr/* ###

### *article/details/88843186* ###

## 概述 ##

本篇博客是记录使用spring batch做数据迁移时时遇到的一个关键问题：数据迁移量大时如何保证内存。当我们在使用spring batch时，我们必须配置三个东西: reader，processor，和writer。

其中，reader用于从数据库中读数据，当数据量较小时，reader的逻辑不会对内存带来太多压力，但是当我们要去读的数据量非常大的时候，我们就不得不考虑内存等方面的问题，因为若数据量非常大，内存，执行时间等等都会受到影响。关于spring batch的基础知识和介绍请参考这篇博客：[批处理框架 Spring Batch 这么强，你会用吗？][Spring Batch]

## 问题是什么 ##

在上面的内容当中我们已经提到了,我们面临的问题是数据迁移量大时的内存问题。但是这样的描述非常笼统，因此博主决定将这一部分单独拎出来说。

在学习了spring batch的知识之后我们应该很清楚的一点是，每一个spring batch的step都包含如下的部分:

![1d1b22d26cdd4794e213bfb788c517b5.png][]

即读数据，处理数据，写数据。这三个步骤里面最可能会导致内存变大问题的无疑是读数据环节。读数据作为spring batch的数据输入，是整个spring batch job的开头逻辑。

若我们的数据量不大，如只有几十万条，那我们无疑不会面临内存问题，即便一次将所有数据加载到内存当中，占的内存也不会非常多，且spring batch数据迁移的速度非常之快，几十万条的数据往往是几十秒的时间就可以迁移完成。但是当数据量变大之后，问题就不一样了。

当我们的数据量达到数百万或上千万时，若一次性将所有数据全部读到内存当中，则会占据远远超出正常范围的非常大的内存。该问题示意图如下所示:

![7f36d1f788aeb91e310eaf683567702b.png][]

我们写的任何程序都会有一个运行内存,假设这个内存的总容量现在只有4g，而我们数据库里需要操作的数据有8g，那么无疑，一次性的将数据读出来就会出错。这便是需要考虑得问题。

## Spring提供的reader实现 ##

spring提供了非常丰富的Reader实现，其中比较常用的从数据库读数据的有JdbcCursorItemReader,JdbcPagingItemReader等。

### JdbcCursorItemReader ###

使用JdbcCursorItemReader的示例代码如下：

@Bean
    public JdbcCursorItemReader<CustomerCredit> itemReader() {
            return new JdbcCursorItemReaderBuilder<CustomerCredit>()
                            .dataSource(this.dataSource)
                            .name("creditReader")
                            .sql("select ID, NAME, CREDIT from CUSTOMER")
                            .rowMapper(new CustomerCreditRowMapper())
                            .build();
     
    }

JdbcCursorItemReader的好处在于使用简单，但是我们从它的sql就能发现，JdbcCursorItemReader会一次把所有的数据全部拿回来，当数据量过大而服务器内存不够时，就会遇到下面无法分配内存的问题：

![69bfa39a33c04bf9bdf0a70e6f8b5ca1.png][]

报错信息为:`Resource exhaustion event:The JVM was unable to allocate memory from the heap.` 意思就是需要分配内存的数据太多，但是无法找到足够的内存了。

反映在内存里，堆内存会呈现出如下的情况:

![c36669993f441bd620275a92a8d6f84b.png][]

随着每一次数据读入，堆内存都会增大，原因就在于JdbcCursorItemReader一次性读回了所有的数据，返回之后就会存在一个对象里面，而这个对象的尺寸过大，因此直接进入了老年代。在数据迁移完成之前，这些数据都不会被回收。如下图所示:

![40dc6b756332067f69f875b0f578d01e.png][]

毫无疑问，当我们的数据量大时不应该使用这种类型的reader来读取数据。推荐：[Java进阶资源][Java]

### JdbcPagingItemReader ###

JdbcPagingItemReader的作用和它的名字一样，它可以分页读取数据，但是使用起来相比于JdbcCursorItemReader更加复杂，示例代码如下:

@Bean
    public JdbcPagingItemReader itemReader(DataSource dataSource, PagingQueryProvider queryProvider) {
            Map<String, Object> parameterValues = new HashMap<>();
            parameterValues.put("status", "NEW");
     
            return new JdbcPagingItemReaderBuilder<CustomerCredit>()
                              .name("creditReader")
                              .dataSource(dataSource)
                              .queryProvider(queryProvider)
                              .parameterValues(parameterValues)
                              .rowMapper(customerCreditMapper())
                              .pageSize(1000)
                              .build();
    }
     
    @Bean
    public SqlPagingQueryProviderFactoryBean queryProvider() {
            SqlPagingQueryProviderFactoryBean provider = new SqlPagingQueryProviderFactoryBean();
     
            provider.setSelectClause("select id, name, credit");
            provider.setFromClause("from customer");
            provider.setWhereClause("where status=:status");
            provider.setSortKey("id");
     
            return provider;
    }

可以看到我们能够设置page的大小，JdbcPagingItemReader将根据这个页的大小，每次读取这么多的数据，因此这些数据返回保存的对象，就只会是小对象，因此他们不会直接在老年代里分配，而是先分配在年轻代，随着年轻代不断变大，minor gc也不断进行，回收掉已经处理完的数据，老年代的内存使用量不会有任何增大，类似下图：

![d5192ea11c54a30351fc2d17028232da.png][] ![98ef5a0c6ef47241d7dadf2462f7bd89.png][]

老年代内存不会有任何变化，年轻带会随着服务器数据迁移进行而增大同时被回收。

在使用JdbcPagingItemReader时，有一个必须注意的地方就是排序关键字是必须指定的，原因在于排序是分页实现原理的技术基础。sortKey和我们指定的其他字句一起构建出SQL语句出来。在sortKey上必须使用unique key constraint约束，因为只有这样才能得以确保执行之间不会丢失任何数据。这也可以说是JdbcCursorItemReader相对便利的一点优势。

## 总结 ##

数据量小时选择的方案差别不会很大，当数据量大时，为了有好的内存表现则使用分页的reader是必要的。但同时，因为要实现分页，也会带来一些不可避免的限制。

欢迎一键三连

推荐好文

[**主流Java进阶技术（学习资料分享）**][Java]

[**分享一套基于SpringBoot和Vue的企业级中后台开源项目，代码很规范！**][SpringBoot_Vue]

[**能挣钱的，开源 SpringBoot 商城系统，功能超全，超漂亮**][SpringBoot]![ca8190f3d3110e2e5d1c1d32901cf998.png][]

[f4296433a5985f2c25097167bd3ae784.png]: /images/20220829/a9cd8e37878445e4b78606d772420f8d.png
[Spring Batch]: http://mp.weixin.qq.com/s?__biz=MzI4Njc5NjM1NQ%3D%3D&chksm=ebd59cc4dca215d2458d2e70d7066d4e8794f62ed1fd652c7a57500b1fcbcbfa019b5d37b119&idx=2&mid=2247508968&scene=21&sn=1a3ebbf82e570b054723cb6aea268221#wechat_redirect
[1d1b22d26cdd4794e213bfb788c517b5.png]: /images/20220829/91516f5070a84b7ead16acfe293f2a5a.png
[7f36d1f788aeb91e310eaf683567702b.png]: /images/20220829/9924e4112db34da69b86564cafc1ca3b.png
[69bfa39a33c04bf9bdf0a70e6f8b5ca1.png]: /images/20220829/c55d04170bea4f03bd4e5ce6071675f4.png
[c36669993f441bd620275a92a8d6f84b.png]: /images/20220829/64c1181bf5cb4f48bfbc434ccca02831.png
[40dc6b756332067f69f875b0f578d01e.png]: /images/20220829/bdb848e58b4340b188064f86302d3f90.png
[Java]: http://mp.weixin.qq.com/s?__biz=MzU2MTI4MjI0MQ%3D%3D&chksm=fc79b1b2cb0e38a498933a034926df45b51524b044762583488d498ae2112c06cf35d412fb3b&idx=2&mid=2247506972&scene=21&sn=790959d9ee2b74e0d0c8a0a5395bc665#wechat_redirect
[d5192ea11c54a30351fc2d17028232da.png]: https://img-blog.csdnimg.cn/img_convert/d5192ea11c54a30351fc2d17028232da.png
[98ef5a0c6ef47241d7dadf2462f7bd89.png]: /images/20220829/2763007a9e5b45a59a35c11b4a5af4c0.png
[SpringBoot_Vue]: http://mp.weixin.qq.com/s?__biz=MzU2MTI4MjI0MQ%3D%3D&chksm=fc799be6cb0e12f0b58479f8b031bc5ae79efdca1880ff9b19f0a107c3a88c37b9596dc73203&idx=2&mid=2247497288&scene=21&sn=65d7111a19e920df1e9416959594b2f4#wechat_redirect
[SpringBoot]: http://mp.weixin.qq.com/s?__biz=MzU2MTI4MjI0MQ%3D%3D&chksm=fc799a9ccb0e138a64a2671f31b8d4be1b3c061a288f7b0d1d4af02a60c45a72231446b91e00&idx=2&mid=2247497522&scene=21&sn=c5b4e596be4ac7d7f293e7e2f0ea0769#wechat_redirect
[ca8190f3d3110e2e5d1c1d32901cf998.png]: /images/20220829/8af96de7628944da98370bb1aa274a4e.png