SpringBoot+ThreadPoolTaskExecutor 批量插入百万级数据实测

古城微笑少年丶 2023-09-28 08:34 81阅读 0赞

## 前言 ##

*  **开发目的：** 提高百万级数据插入效率。
 *  **采取方案：** 利用ThreadPoolTaskExecutor多线程批量插入。
 *  **采用技术：**springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+ThreadPoolTaskExecutor等。

## 具体实现细节 ##

![f00f4a5902f389759c3f0595cb7fe1ce.png][]

## application-dev.properties添加线程池配置信息 ##

# 异步线程配置
    # 配置核心线程数
    async.executor.thread.core_pool_size = 30
    # 配置最大线程数
    async.executor.thread.max_pool_size = 30
    # 配置队列大小
    async.executor.thread.queue_capacity = 99988
    # 配置线程池中的线程的名称前缀
    async.executor.thread.name.prefix = async-importDB-

## spring容器注入线程池bean对象 ##

@Configuration
     
    @EnableAsync
     
    @Slf4j
     
    public class ExecutorConfig {
        @Value("${async.executor.thread.core_pool_size}")
        private int corePoolSize;
        @Value("${async.executor.thread.max_pool_size}")
        private int maxPoolSize;
        @Value("${async.executor.thread.queue_capacity}")
        private int queueCapacity;
        @Value("${async.executor.thread.name.prefix}")
        private String namePrefix;
     
        @Bean(name = "asyncServiceExecutor")
        public Executor asyncServiceExecutor() {
            log.warn("start asyncServiceExecutor");
            //在这里修改
            ThreadPoolTaskExecutor executor = new VisiableThreadPoolTaskExecutor();
            //配置核心线程数
            executor.setCorePoolSize(corePoolSize);
            //配置最大线程数
            executor.setMaxPoolSize(maxPoolSize);
            //配置队列大小
            executor.setQueueCapacity(queueCapacity);
            //配置线程池中的线程的名称前缀
            executor.setThreadNamePrefix(namePrefix);
            // rejection-policy：当pool已经达到max size的时候，如何处理新任务
            // CALLER_RUNS：不在新线程中执行任务，而是有调用者所在的线程来执行
            executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
            //执行初始化
            executor.initialize();
            return executor;
        }
    }

## 创建异步线程 业务类 ##

@Service
    @Slf4j
    public class AsyncServiceImpl implements AsyncService {
    @Override
        @Async("asyncServiceExecutor")
        public void executeAsync(List<LogOutputResult> logOutputResults, LogOutputResultMapper logOutputResultMapper, CountDownLatch countDownLatch) {
            try{
                log.warn("start executeAsync");
                //异步线程要做的事情
                logOutputResultMapper.addLogOutputResultBatch(logOutputResults);
                log.warn("end executeAsync");
            }finally {
                countDownLatch.countDown();// 很关键, 无论上面程序是否异常必须执行countDown,否则await无法释放
            }
        }
    }

## 创建多线程批量插入具体业务方法 ##

@Override
        public int testMultiThread() {
            List<LogOutputResult> logOutputResults = getTestData();
            //测试每100条数据插入开一个线程
            List<List<LogOutputResult>> lists = ConvertHandler.splitList(logOutputResults, 100);
            CountDownLatch countDownLatch = new CountDownLatch(lists.size());
            for (List<LogOutputResult> listSub:lists) {
                asyncService.executeAsync(listSub, logOutputResultMapper,countDownLatch);
            }
            try {
                countDownLatch.await(); //保证之前的所有的线程都执行完成，才会走下面的；
                // 这样就可以在下面拿到所有线程执行完的集合结果
            } catch (Exception e) {
                log.error("阻塞异常:"+e.getMessage());
            }
            return logOutputResults.size();
        }

## 模拟2000003 条数据进行测试 ##

![1202b902b016d421bd29dc695097a7e4.png][]

多线程 测试 2000003 耗时如下：耗时1.67分钟

![f3a23b870b691e50895e5012dec5afcd.png][]

![fb56ea9c29a54ea572b068ddb83de1c3.png][]

本次开启30个线程，截图如下：

![fe4516ffff97d15bfa26090b448f8fd2.png][]

单线程测试2000003 耗时如下：耗时5.75分钟

![01d91a3e4a659a4d5b491e49a606cc6c.png][]

![2a1c104ff0471577032903bcfe304e55.png][]

## 检查多线程入库的数据，检查是否存在重复入库的问题： ##

根据id分组，查看是否有id重复的数据，通过sql语句检查，没有发现重复入库的问题

![e9513cc0066cdf434079a00b3e7d225e.png][]

检查数据完整性：通过sql语句查询，多线程录入数据完整

![a5097a51a1e0b4d3fe71b953b053666c.png][]

## 测试结果 ##

不同线程数测试：

![9e7caa5d3044b3b292a0f2553844aefc.png][]

![5ebcc0e24a29a992448dc07bd1e027bf.png][]

## 总结 ##

通过以上测试案列，同样是导入2000003 条数据，多线程耗时1.67分钟，单线程耗时5.75分钟。通过对不同线程数的测试，发现不是线程数越多越好，具体多少合适，网上有一个不成文的算法：

CPU核心数量\*2 +2 个线程。

附：测试电脑配置

![7e163fe8723c98c0b51a0e2e7cf9a1df.png][]

更多技术交流，关注我公众号

![a0015962a6cc43018836c5b303c6117f.jpeg][]

[f00f4a5902f389759c3f0595cb7fe1ce.png]: https://img-blog.csdnimg.cn/img_convert/f00f4a5902f389759c3f0595cb7fe1ce.png
[1202b902b016d421bd29dc695097a7e4.png]: https://img-blog.csdnimg.cn/img_convert/1202b902b016d421bd29dc695097a7e4.png
[f3a23b870b691e50895e5012dec5afcd.png]: https://img-blog.csdnimg.cn/img_convert/f3a23b870b691e50895e5012dec5afcd.png
[fb56ea9c29a54ea572b068ddb83de1c3.png]: https://img-blog.csdnimg.cn/img_convert/fb56ea9c29a54ea572b068ddb83de1c3.png
[fe4516ffff97d15bfa26090b448f8fd2.png]: https://img-blog.csdnimg.cn/img_convert/fe4516ffff97d15bfa26090b448f8fd2.png
[01d91a3e4a659a4d5b491e49a606cc6c.png]: https://img-blog.csdnimg.cn/img_convert/01d91a3e4a659a4d5b491e49a606cc6c.png
[2a1c104ff0471577032903bcfe304e55.png]: https://img-blog.csdnimg.cn/img_convert/2a1c104ff0471577032903bcfe304e55.png
[e9513cc0066cdf434079a00b3e7d225e.png]: https://img-blog.csdnimg.cn/img_convert/e9513cc0066cdf434079a00b3e7d225e.png
[a5097a51a1e0b4d3fe71b953b053666c.png]: https://img-blog.csdnimg.cn/img_convert/a5097a51a1e0b4d3fe71b953b053666c.png
[9e7caa5d3044b3b292a0f2553844aefc.png]: https://img-blog.csdnimg.cn/img_convert/9e7caa5d3044b3b292a0f2553844aefc.png
[5ebcc0e24a29a992448dc07bd1e027bf.png]: https://img-blog.csdnimg.cn/img_convert/5ebcc0e24a29a992448dc07bd1e027bf.png
[7e163fe8723c98c0b51a0e2e7cf9a1df.png]: https://img-blog.csdnimg.cn/img_convert/7e163fe8723c98c0b51a0e2e7cf9a1df.png
[a0015962a6cc43018836c5b303c6117f.jpeg]: https://img-blog.csdnimg.cn/a0015962a6cc43018836c5b303c6117f.jpeg