利用多线程事务控制实现大批量数据库操作

àì夳堔傛蜴生んèń 2023-09-29 13:28 19阅读 0赞

### 导语 ###

在数据库中如果需要对大量的数据进行批量修改，并不是一项简单的工作。而利用多线程事务控制可以帮助我们解决这些问题。本篇主要向大家介绍利用多线程来实现大批量数据库操作。

### 正文 ###

公司业务中遇到一个需求，需要同时修改最多约5万条数据，而且还不支持批量或异步修改操作。于是只能写个for循环操作，但操作耗时太长，只能一步一步寻找其他解决方案。

#### 具体操作如下： ####

#### **1. 循环操作的代码** ####

先写一个最简单的for循环代码，看看耗时情况怎么样。

/***
     * 一条一条依次对50000条数据进行更新操作
     * 耗时：2m27s,1m54s
     */
    @Test
    void updateStudent() {
        List<Student> allStudents = studentMapper.getAll();
        allStudents.forEach(s -> {
            //更新教师信息
            String teacher = s.getTeacher();
            String newTeacher = "TNO_" + new Random().nextInt(100);
            s.setTeacher(newTeacher);
            studentMapper.update(s);
        });
    }

循环修改整体耗时约 1分54秒，且代码中没有手动事务控制应该是自动事务提交，所以每次操作事务都会提交所以操作比较慢，我们先对代码中添加手动事务控制，看查询效率怎样。

**2. 使用手动事务的操作代码**

修改后的代码如下：

@Autowired
    private DataSourceTransactionManager dataSourceTransactionManager;
    
    @Autowired
    private TransactionDefinition transactionDefinition;
    
    /**
     * 由于希望更新操作 一次性完成，需要手动控制添加事务
     * 耗时：24s
     * 从测试结果可以看出，添加事务后插入数据的效率有明显的提升
     */
    @Test
    void updateStudentWithTrans() {
        List<Student> allStudents = studentMapper.getAll();
        TransactionStatus transactionStatus = dataSourceTransactionManager.getTransaction(transactionDefinition);
        try {
            allStudents.forEach(s -> {
                //更新教师信息
                String teacher = s.getTeacher();
                String newTeacher = "TNO_" + new Random().nextInt(100);
                s.setTeacher(newTeacher);
                studentMapper.update(s);
            });
            dataSourceTransactionManager.commit(transactionStatus);
        } catch (Throwable e) {
            dataSourceTransactionManager.rollback(transactionStatus);
            throw e;
        }
    }

添加手动事务操控制后，整体耗时约 24秒，这相对于自动事务提交的代码，快了约5倍，对于大量循环数据库提交操作，添加手动事务可以有效提高操作效率。

#### **3. 尝试多线程进行数据修改** ####

添加数据库手动事务后操作效率有明细提高，但还是比较长，接下来尝试多线程提交看是不是能够再快一些。

先添加一个Service将批量修改操作整合一下，具体代码如下：

@Service
    public class StudentServiceImpl implements StudentService {
        @Autowired
        private StudentMapper studentMapper;
     
        @Autowired
        private DataSourceTransactionManager dataSourceTransactionManager;
     
        @Autowired
        private TransactionDefinition transactionDefinition;
     
        @Override
        public void updateStudents(List<Student> students, CountDownLatch threadLatch) {
            TransactionStatus transactionStatus = dataSourceTransactionManager.getTransaction(transactionDefinition);
            System.out.println("子线程：" + Thread.currentThread().getName());
            try {
                students.forEach(s -> {
                    // 更新教师信息
                    // String teacher = s.getTeacher();
                    String newTeacher = "TNO_" + new Random().nextInt(100);
                    s.setTeacher(newTeacher);
                    studentMapper.update(s);
                });
                dataSourceTransactionManager.commit(transactionSt