将数据库数据的访问由单线程转变成多线程

阳光穿透心脏的1/2处 2023-10-13 12:52 4阅读 0赞

### 将数据库数据的访问由单线程转变成多线程 ###

*  主要注意的点
 *  项目的背景
 *  项目模块开发时出现的新需求
 *  考虑的但是被否决的改进方案
 *  测试与实际生产环境的差别
 *  转换成多线程处理的可选方案
 *   *  方案一
     *   *  优点
         *  缺点
     *  方案二
     *  数据一致性如何保证
 *  实际开发
 *  出现的问题
 *   *  问题的本质原因
     *  问题的解决
 *  总结和收获

# 主要注意的点 #

例如对全局变量的同步处理、函数的去静态变量等等问题。

# 项目的背景 #

项目开始的时候我们让所有的并行工作都由多进程来实现。这种不支持多线程的编程方式访问速度足够快。但是存在大量的数据库访问函数。

因此，访问句柄是全局的，函数中的静态变量较多。

# 项目模块开发时出现的新需求 #

某一个功能模块，需要由单线程变成多线程。

# 考虑的但是被否决的改进方案 #

1.  修改数据访问层？工作量太大。
2.  单独为该模块做数据访问函数？破坏了架构的统一性。

# 测试与实际生产环境的差别 #

测试环境：数据量不大，单线程足以处理。  
实际生产环境：数据量比较大，每分钟数据处理量比较大、数据库的IO操作次数多。

因此需要考虑转换成多线程处理。

# 转换成多线程处理的可选方案 #

## 方案一 ##

在数据接入进来的时候，就进行多线程处理，此时数据的存库和转发是串行的，也就是处理完数据库然后进行数据的转发。

### 优点 ###

只需要在接收端统一处理，修改方便。

### 缺点 ###

消息的转发还是会受到数据库处理的限制，当数据量比较大或者服务器的硬件性能不够好时还是会影响数据的传输速度。

## 方案二 ##

把转发和数据库的处理进行分开处理，这样数据的解析和转发就会很快到下游应用，就有了及时的数据。

## 数据一致性如何保证 ##

首先，我们先接收到数据后，进行解析后IO处理。这是逐条进行的。

我们可以根据数据的特点，为每条数据创建一个唯一的KEY，保证同个key的数据放在同一个队列中，由同一线程进行处理。

这里利用key的哈希值，进行分类，能达到效果。

# 实际开发 #

因为用到了spring，为保证程序的机动性，我们可以创建一个线程管理类来进行线程的创建，并通过配置文件控制线程的条数。

# 出现的问题 #

一个有关Spring的IOC问题。

在写好配置文件和代码后，发现管理类的缓存中始终拿不到对应的线程，而且报告空指针异常。

经过一番搜索和研究后发现，注入线程管理类的对象没有被正确地交给Spring框架进行管理。

## 问题的本质原因 ##

注入管理类的对象没有交给spring管理。

## 问题的解决 ##

首先，将需要注入线程管理类的对象交给Spring进行管理，确保其能够正常使用。然后，通过使用SpringContextHolder，我能够正确地获取到线程管理类的实例，进而解决了空指针异常的问题。

# 总结和收获 #

通过以上的努力和解决方案，我成功地将数据库数据的访问由单线程转变成了多线程。这样，在实际生产环境中处理大量数据和频繁的数据库IO操作时，我们能够更高效地进行数据处理和传输，以满足项目需求。

这个经历有助于加深对多线程编程和系统架构的理解，能提升问题解决能力和技术能力。

**参考资料**：

1.  [单线程程序转为多线程][Link 1]
2.  [（场景）单线程处理转换成多线程][Link 2]

[Link 1]: https://blog.csdn.net/sixsavage/article/details/2893901
[Link 2]: https://blog.csdn.net/m0_64639742/article/details/129803088

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关多线程与单线程比较

给一个多行的txt文本文件，统计里面每个单词出现多少次（如下图） ![52db7d2ec63e411998b5b08344fb1e71.png][] 单线程代码：

àì夳堔傛蜴生んèń/ 2024年04月01日 18:59/ 0 赞/ 105 阅读

相关 Redis的单线程与多线程

Redis的核心处理逻辑一直都是单线程有一些分支模块是多线程(某些异步流程从4.0开始用的多线程，例如UNLINK、FLUSHALL ASYNC、FLUSHDB ASYNC等

红太狼/ 2023年10月14日 18:09/ 0 赞/ 61 阅读

相关将数据库数据的访问由单线程转变成多线程

将数据库数据的访问由单线程转变成多线程主要注意的点项目的背景项目模块开发时出现的新需求考虑的但是被否决的改进方案测试与实际生产环境

阳光穿透心脏的1/2处/ 2023年10月13日 12:52/ 0 赞/ 5 阅读

相关单线程和多线程的优缺点

[单线程和多线程的优缺点][Link 1] 多线程处理的优点同步应用程序的开发比较容易，但由于需要在上一个任务完成后才能开始新的任务，所以其效率通常比多线程应

迈不过友情╰/ 2023年07月04日 14:21/ 0 赞/ 36 阅读

相关 Redis单线程与多线程模型

1. Redis 5.x及以前都是单线程，6.0及以后才是多线程 2. 不管是单线程还是多线程都是单work线程，多线程指的是IO子线程 3. 单线程模型为单work线程

阳光穿透心脏的1/2处/ 2022年10月11日 13:59/ 0 赞/ 293 阅读

相关 Python 单线程多线程

早期的操作系统处理问题都是单任务的，同时只能执行一个任务，按顺序执行。 coding=utf-8 import threading from ti

- 日理万妓/ 2022年06月09日 06:55/ 0 赞/ 345 阅读

相关浏览器多线程和js单线程

转载自 [浏览器多线程和js单线程][js] 开发过程中遇到js线程和ui渲染线程互斥问题。导致ui无法正常更新等问题。这些问题的根源就是因为浏览器的多线程和js的单线程引

我不是女神ヾ/ 2022年05月28日 10:05/ 0 赞/ 343 阅读

相关 ROS 单线程与多线程

参考资料: [https://www.cnblogs.com/liu-fa/p/5925381.html][https_www.cnblogs.com_liu-fa_p_59

系统管理员/ 2022年04月14日 03:21/ 0 赞/ 372 阅读

相关多线程和单线程速度

多线程不一定比单线程速度快，只有在特定的场景下，多线程才能发挥优势。例如数据库的存储，单线程速度就比多线程快。多线程适用于复杂任务，并发任务，往往响应需要一定的时间，这

青旅半醒/ 2022年01月05日 23:41/ 0 赞/ 455 阅读

相关多线程和单线程是什么？多线程与单线程的区别

一、什么是进程：当一个程序开始运行时，它就是一个进程，进程包括运行中的程序和程序所使用到的内存和系统资源。而一个进程又是由多个线程所组成的。

灰太狼/ 2020年05月30日 03:01/ 0 赞/ 1206 阅读