mongodb将重复的数据删除

谁借莪１个温暖的怀抱￠ 2021-11-09 18:14 344阅读 0赞

有如下数据：

{'time':'2017-04-01 16:25:21','name':'aaaa'}
    {'time':'2017-03-01 16:25:21','name':'bbbb'}
    {'time':'2017-02-01 16:25:21','name':'aaaa'}
    {'time':'2017-04-01 16:25:21','name':'aaaa'}
    {'time':'2016-11-01 16:25:21','name':'bbbb'}
    {'time':'2016-12-01 16:25:21','name':'aaaa'}
    {'time':'2016-11-01 16:25:21','name':'bbbb'}

需要删除掉同一个name下time有重复的数据，只保留一条。

首先向集合中插入测试数据

db.col.insertMany([
        {"_id":1,'time':'2017-04-01 16:25:21','name':'aaaa'},
        {"_id":2,'time':'2017-03-01 16:25:21','name':'bbbb'},
        {"_id":3,'time':'2017-02-01 16:25:21','name':'aaaa'},
        {"_id":4,'time':'2017-04-01 16:25:21','name':'aaaa'},
        {"_id":5,'time':'2016-11-01 16:25:21','name':'bbbb'},
        {"_id":6,'time':'2016-12-01 16:25:21','name':'aaaa'},
        {"_id":7,'time':'2016-11-01 16:25:21','name':'bbbb'},
    ]);

然后使用下面命令可以实现删除重复数据

db.col.aggregate([
      { $group: { 
        _id: { time: "$time", name: "$name"}, 
        dups: { "$addToSet": "$_id" }, 
        count: { "$sum": 1 } 
      }}, 
      { $match: { 
        count: { "$gt": 1 }
      }}
    ],
    {allowDiskUse: true}    #  如果数据超过一定大小的时候，要加这个，如果不加，会报错
    ).forEach(function(doc) {
        doc.dups.shift();
        db.yyy.remove({_id : {$in: doc.dups }});
    });

发表评论取消回复

表情：

评论列表（有 0 条评论，344人围观）

还没有评论，来说两句吧...

相关阅读

相关数据库中数据重复如何删除_数据科学中的重复数据删除

数据库中数据重复如何删除重复数据删除 (Data Deduplication) Data deduplication is a technique accustome

忘是亡心i/ 2023年03月05日 11:56/ 0 赞/ 120 阅读

相关 mysql删除重复数据

create table tmptable as select min(id) as tmp from target\_table group by userId; d

水深无声/ 2022年09月28日 00:29/ 0 赞/ 218 阅读

相关删除重复数据

/ 删除下面的数据中第一个 4 原数据：1 2 3 4 5 6 7 4 删除后：1 2 3 5 6 7 4 删除后数据所占用的内存变小

旧城等待，/ 2022年07月24日 04:06/ 0 赞/ 223 阅读

相关 mongodb删除数据

删除[mongodb][]集合中的数据可以使用remove()函数。remove()函数可以接受一个查询文档作为可选参数来有选择性的删除符合条件的文档。 remove()函数

Bertha 。/ 2022年06月10日 03:44/ 0 赞/ 246 阅读

相关删除数据库重复数据

![20180514104451882][] 上图是数据库定义，数据中储存了97万条数据。我要删除其中的的重复数据，并保留其中一条。其中，如果mercha

骑猪看日落/ 2022年05月25日 11:27/ 0 赞/ 221 阅读

相关 [MYSQL]删除重复数据

把符合要求数据过滤出去,查询出来全部删除 SELECT id,sku_id,city_id,storage_id FROM pro_product.p_pro_

亦凉/ 2022年05月19日 10:44/ 0 赞/ 262 阅读

相关 oracle删除重复数据

查询及删除重复记录的SQL语句 1、查找表中多余的重复记录，重复记录是根据单个字段（Id）来判断 select \ from 表 where Id in (se

柔光的暖阳◎/ 2022年05月15日 03:48/ 0 赞/ 273 阅读

相关 mongodb将重复的数据删除

有如下数据： {'time':'2017-04-01 16:25:21','name':'aaaa'} {'time':'2017-03-01 16:25:2

谁借莪１个温暖的怀抱￠/ 2021年11月09日 18:14/ 0 赞/ 345 阅读

相关 mysql删除重复数据

DELETE FROM eds_conference WHERE conf_uri IN ( S

女爷i/ 2021年11月09日 05:42/ 0 赞/ 425 阅读

相关 SQL 删除重复数据

创建测试表 CREATE TABLE emp( id serial2, //表的的自增 name VARCHAR, age VAR

布满荆棘的人生/ 2021年09月16日 10:28/ 0 赞/ 411 阅读