mysql表的遍历_MySQL 全表遍历

桃扇骨 2023-01-10 15:56 147阅读 0赞

今天做一个业务需求的逻辑处理，需要对MySQL全表进行遍历，数据规模百万级别，为方便描述，这张表就用 a 来代替吧

结合自己的思路和一些资料，在这里记录一下方案的进化史

一、直接遍历拿出所有的数据

select \* from a ;

这个肯定不用多说了，估计还没拿完，内存就爆了，对这种数量级的表不现实

二、分页式循环遍历

select \* from a limit 0,1000;select \* from a limit 1000,1000。

在代码中，循环地使用这种模式的sql去遍历表，虽然可以实现，但显然这种方式是没法用到索引，越往后遍历性能会越低。

三、带索引链式遍历

select \* from a where id > 0 order by id limit 10000;

假设上一次查询得到的结果集中，最后一条数据的id为10001select \* from a where id > 10001 order by id limit 10000;

好，既然没用到索引，那就带上索引遍历。

类似的查询效果，由于where条件中的id字段有索引，对于比较靠后的数据，查询性能将会轻松提升很多(有人说是百倍左右，我没测试过就不说具体多少了)

那初步的优化方案就很容易想到了，id有索引，而且是自增的，就从id=1开始遍历，结果集以id升序排列，然后根据结果集最后一条数据的id，继续下一次遍历，依此类推，直到遍历完成

这个方案有个特点：下次遍历必须知道上次遍历的最后一个id的值，也就是前后遍历形成了一个依赖链，这将导致无法实现遍历行为之间的并行操作

四、id分区多线程遍历

找到表中最大最小id，确定id区间select min(id),max(id) from a ;

多线程遍历，每个线程每批次拿10000条记录，从min(id)开始，到max(id)结束

线程1：select \* from a where id >= 1 and id <= 10000;

线程2：select \* from a where id >= 100001 and id <=20000;

那如果我想多线程并行SQL查询处理呢？那我们可以尝试进行ID的区间划分，因为有了ID的分区，各个分区的查询就不存在必要的关联性了。

比如，第一个线程遍历id区间为1-10000的数据，第二个线程遍历id区间为10001-20000的数据，依此类推,直到遍历到最大id。这样就可以实现多个线程并行操作，性能也许会大大提升。

但不能说方案四一定比方案三好，要根据实际情况进行选择。方案四需要考虑ID的区间大小和SQL并行查询的线程数(数据库压力)。

而对于存储过程或游标之类，个人认为移植性和通用性不是很好，就没研究那方面的。

先写到这里，后续有什么好的方案，再补上！

参考：

共同学习，共同进步，若有补充，欢迎指出，谢谢！

发表评论取消回复

表情：

评论列表（有 0 条评论，147人围观）

还没有评论，来说两句吧...

相关阅读

相关 mysql表的遍历_MySQL 全表遍历

今天做一个业务需求的逻辑处理，需要对MySQL全表进行遍历，数据规模百万级别，为方便描述，这张表就用 a 来代替吧结合自己的思路和一些资料，在这里记录一下方案的进化史一

桃扇骨/ 2023年01月10日 15:56/ 0 赞/ 148 阅读

相关 MySQL 遍历字符

备注:测试数据库版本为MySQL 8.0 如需要scott用户下建表及录入数据语句，可参考: [scott建表及录入数据sql脚本][scott_sql] 一.需求

小咪咪/ 2022年12月07日 12:45/ 0 赞/ 57 阅读

相关 js数组遍历、对象遍历、字符串遍历

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 数组遍历 for \--使用变量将数组长度缓

男娘i/ 2022年10月02日 00:49/ 0 赞/ 283 阅读

相关 java遍历之数组遍历,list遍历,set遍历,map遍历，stream遍历,Enumeration遍历

1.\_遍历方式其实遍历的就两种,对象和数组.只是哪个遍历适用于哪个而已 1. for 2. for增强 3. foreach 4. 迭代(Iterable)

迈不过友情╰/ 2022年09月11日 06:19/ 0 赞/ 303 阅读

相关 PostgreSQL 遍历表的PLSQL列举

我们经常会对数据字典中的系统表进行遍历，从而写一些SHELL脚本或者动态造数据等等。这里我用PLSQL演示了三种方法来遍历一张表。表结构如下， <tabl

Bertha 。/ 2022年08月26日 03:43/ 0 赞/ 161 阅读

相关链表的创建及遍历

include<iostream> include<stdlib.h> using namespace std; define LEN 15

小咪咪/ 2022年08月12日 09:58/ 0 赞/ 127 阅读

相关链表的创建与遍历

链表，简而言之，就是基于链式储存结构下的线性表。链表包括单向链表、双向链表以及循环链表。链表是一种很常用的数据结构，其定义如下： / 单向链表的定

￡神魔★判官ぃ/ 2022年06月03日 02:52/ 0 赞/ 128 阅读

相关链表遍历(JSU-ZJJ)

题目描述小T昨天很不爽昨天路过体彩销售点买了2注生日号码玩，当晚开奖后…… 小T号码： 8902088 中奖号码：3902888 一个号码不对就差

你的名字/ 2022年04月04日 05:08/ 0 赞/ 104 阅读

相关数组遍历。对象遍历。字符串遍历

数组遍历 for for(var i=0;i<arr.length;i++)\{ ...... \} forEach arr.forEach(

墨蓝/ 2021年11月29日 13:48/ 0 赞/ 526 阅读

相关图的广度遍历-邻接表

> 广度优先搜索(又称宽度优先搜索)算法是最简便的图的搜索算法之一，该算法属于一种盲目搜寻法，目的是系统地展开并检查图中的所有节点，以找寻结果。换句话说，它并不考虑结果的可能位

布满荆棘的人生/ 2021年11月16日 15:04/ 0 赞/ 302 阅读