mysql大批量去重并导入

小咪咪 2022-07-18 05:47 277阅读 0赞

今天拿到这个文件，里面有联系人及其地址，如图

![Image 1][]

这时候就要我去将这些数据导入现在开发的系统之中。

其实2个字段不是太复杂，一个问题就是其中的一部分另一个同事之前导入了，那一部分又不需要更改。

问题就变成了，查找出当前文档里面有哪些内容是以前已经导入过了的。

根据这样我先想出了一个方法，利用excel的CONCATENATE("'",D30,"',")拼接字符串，结果如图

![Image 1][]

然后数据库查询：

select * from aaaa.contactaaa where cont_name in ('GTMC','GTT','广菲克（长沙）','广菲克（广州）');

这样其实是可以查出来有哪些是被使用过的，但是无法得知是哪一行，所以这时候就使用另外一个方法：

还是使用excel里面的拼接字符串

=CONCATENATE("SELECT COUNT(1),cont_id FROM aaa.bbbcontact WHERE cont_name='",D30,"' UNION ALL ")

然后下拉条，就变成

SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='GTMC' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='GTT' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广菲克（长沙）' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广菲克（广州）' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广汽传祺' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广汽三菱' UNION ALL 
    SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='南沙港' UNION ALL

这个时候查出来就是：

![Image 1][]

因为这个行与excel的行是一一对应的，所以将这些行导出，复制到excel之中，在进行筛选，就可以去除无需导入的数据了

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，277人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL去重留一

思路： 1. 查询所有重复记录，保留其中id最小的一个。（根据重复条件分组，如 group by mobile，根据需求选择要保留的那一个） 2. 自连接，使用重复记录

女爷i/ 2022年12月02日 15:14/ 0 赞/ 197 阅读

相关 mysql 批量数据导入报错_MySQL导入大批量数据报错

问题描述 MySQL5.7中,采用innodb引擎的数据表中执行大批量数据的更新，插入，删除操作时，会因默认的引擎参数太小而报错：the total number of lo

﹏ヽ暗。殇╰゛Y/ 2022年10月27日 02:36/ 0 赞/ 3 阅读

相关 mysql多字段去重并计数_mysql多字段去重，并计数

Mysql版本5.5.42 有两个表，表结构与数据如下 1、goods表 CREATE TABLE \`goods\` ( \`id\` int(10) unsigne

素颜马尾好姑娘i/ 2022年10月27日 00:29/ 0 赞/ 218 阅读

相关 mysql大批量去重并导入

今天拿到这个文件，里面有联系人及其地址，如图 ![Image 1][] 这时候就要我去将这些数据导入现在开发的系统之中。其实2个字段不是太复杂

小咪咪/ 2022年07月18日 05:47/ 0 赞/ 278 阅读

相关 thinkphp导入Excel去重

/导入Excel有两种可能 1.导入的Excel本身就有重复项 2.导入的Excel数据和已有的数据库信息有重复项解决思路：

柔光的暖阳◎/ 2022年06月15日 05:47/ 0 赞/ 302 阅读

相关 Mysql 多字段去重

使用group by去重现在有如下表 id name age 1 张三 23 2

ゝ一世哀愁。/ 2022年05月16日 07:10/ 0 赞/ 333 阅读

相关超大批量向redis导入数据

[Redis 号称每秒可写入好几万的数据。为什么我执行下面代码要很长时间。][Redis] 下面提供一些思路： 1、循环导入 key的类型为string，下面是

叁歲伎倆/ 2022年04月14日 03:29/ 0 赞/ 508 阅读

相关 MySql 大批量导入数据时关闭索引

本文通过实验验证：大批量导入数据时需要关闭索引。 1.建表 create table goods( id int primary key,

迈不过友情╰/ 2022年01月31日 03:27/ 0 赞/ 363 阅读

相关 js对象转数组并去重 js对数组去重

js对象转数组 function toArray(){ var data = { a:1,b:2,c:3,d:4,e:1,f:4}; var a

小咪咪/ 2021年10月23日 13:26/ 0 赞/ 464 阅读

相关 MySQL去重查询

在使用[MySQL][]时，有时需要查询出某个字段不重复的记录，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录，实例： select d

偏执的太偏执、/ 2021年09月16日 19:02/ 0 赞/ 385 阅读