MySQL 的一次百万级数据快速去重经验分享

缺乏、安全感 2022-10-17 05:30 338阅读 0赞

最近在处理项目组的一个数据集，数据量每张表在百万级，由于数据量较大在数据下载和处理方面都可以说是旷日持久，这篇记录一下相关的经验。

![4eb890e8025c37f5623e17b3e606ab1e.png][]

**「数据下载」**

拿到的数据是在远程数据库里面，原先打算直接从远程库里下载 csv 或 txt 到电脑上，但在 mysql 上进行这样的操作好像不是很方便速度也很慢。

目前在使用的方法是将远程数据库里面的数据导出为 sql 到本地，导入本地数据库后进行操作，但这一过程也很缓慢，一个百万级数据库在 navicat 里面可能要导个半个小时，在命令行可能会快一点但没有尝试。

**「MySQL中的去重」**

基本思路是复制原表 A 结构新建一个表 B，对表 B 添加 UNIQUE 约束，然后将表 A 中的数据逐条插入表 B，约束会自动实现去重。

`复制表结构`

CREATE TABLE newTable LIKE oldTable;

`修改表字段，因为 httpURL 太大`

ALTER TABLE newTable MODIFY httpURL VARCHAR(300);

`为表格添加约束条件(在Mysql5中，如果约束字段过大，则报错，因此要先执行上面的修改表字段)`

ALTER TABLE newTable ADD UNIQUE(IP,timeStart);

`为新表中添加数据(约束条件自动去重)`

INSERT IGNORE newTable
    
    SELECT \* FROM newTable
    
    ORDER BY IP,timeStart;

测试的表数据量在三百万左右，去重后数据在二百万左右，在 navicat 实现时间2168.470s，命令行应该会更快。

![44cf7c4849644866b9ab434e97054514.png][]

[4eb890e8025c37f5623e17b3e606ab1e.png]: /images/20221014/3dec89ff446e4c19b6cc965bf082e63a.png
[44cf7c4849644866b9ab434e97054514.png]: /images/20221014/95b6f4ce636e46fda8dea18d5648ccdc.png

发表评论取消回复

表情：

评论列表（有 0 条评论，338人围观）

还没有评论，来说两句吧...

相关阅读

相关 MYSQL对千万级数据的快速迁移

MYSQL对千万级数据（10个G左右）的迁移，耗时控制在半小时内 1.show variables like '%secure%';查看 secure-file-priv 当

怼烎@/ 2024年03月30日 14:34/ 0 赞/ 39 阅读

相关千万级数据去重其实并不复杂

之前曾经看过一句话觉得挺好，大概的意思就是不同的数据结构有不同的适用场景和优缺点，需要仔细权衡自己的需求之后妥善适用它们。感觉布隆过滤器的实现是正好印证了这句话。一、原理

痛定思痛。/ 2022年11月26日 08:52/ 0 赞/ 117 阅读

相关 mysql 删除百万级数据库_MSSQL、MySQL 数据库删除大批量千万级百万级数据的优化...

SQL Server上面删除1.6亿条记录，不能用Truncate(因为只是删除其中少部分数据)。经过实验，每次删除400万条要花1.5 - 3小时，而且是越到后面越慢，正

向右看齐/ 2022年11月19日 08:00/ 0 赞/ 415 阅读

相关 MySQL 的一次百万级数据快速去重经验分享

最近在处理项目组的一个数据集，数据量每张表在百万级，由于数据量较大在数据下载和处理方面都可以说是旷日持久，这篇记录一下相关的经验。 ![4eb890e8025c37f5623

缺乏、安全感/ 2022年10月17日 05:30/ 0 赞/ 339 阅读

相关 mysql百万级甚至千万级数据怎么进行快速分页

mysql我们分页都使用的是limit,但是limit有些不足之处比如我现在有一张表 ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_s

古城微笑少年丶/ 2022年09月09日 02:24/ 0 赞/ 217 阅读

相关 mysql 快速生成百万条测试数据

1、生成思路利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中 2、创建内存表及普通表

朴灿烈づ我的快乐病毒、/ 2022年08月09日 06:26/ 0 赞/ 166 阅读

相关 mysql百万级数据优化

1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 nu

浅浅的花香味﹌/ 2022年06月15日 10:56/ 0 赞/ 227 阅读

相关【MySQL】记一次数据去重

有时候，因为开发时，考虑不当，会造成数据重复。背景：前几天做项目的时候，有一个给ip打标签的操作，但是当数据数量多了以后，发现，同一个ip被打了两次相同的标签，导致数据

雨点打透心脏的1/2处/ 2022年06月10日 12:51/ 0 赞/ 166 阅读

相关 MySql百万级数据去重保留一份，一对多合并处理

最近帮运维组处理了一份急着上架的数据，大概有140万量，下面我们看一下是怎样处理的吧。这批数据大部分都是重复的，经过处理的数据大概在30万左右，然后进行一对多合并处理，最后

墨蓝/ 2022年03月25日 10:40/ 0 赞/ 374 阅读

相关百万级数据批量快速插入到mysql中

想必能搜索这篇博客的同志们应该是用过了几种方法觉得太慢所以才来寻找解决办法的比如：一条SQL语句插入多条数据。常用的插入语句如： INSERT

刺骨的言语ヽ痛彻心扉/ 2021年12月11日 13:45/ 0 赞/ 212 阅读