mongoDB mapreduce使用总结

左手的ㄟ右手 2024-03-31 08:49 63阅读 0赞

大家都知道，mongodb是一个非关系型数据库，也就是说，mongodb数据库中的每张表是独立存在的，表与表之间没有任何依赖关系。在mongodb中，除了各种CRUD语句之外，还给我们提供了聚合和mapreduce统计的功能，这篇文章主要来跟大家聊聊mongodb的mapreduce的操作。

Map-[Reduce][]部分：Map-Reduce相当于关系型数据库中的group by，主要用于统计数据之用。mapreduce的概念我就不赘述了，大家自己去查查。

## 映射化简[(官网截取)][Link 1] ##

映射化简是一种将大量数据转换为有价值的\*聚合\*结果的数据处理方式。在MongoDB中，使用 [mapReduce][] 命令来执行映射化简的操作。

请看下面的映射化简操作：

![73f31bc412dda5b34a06ca6757f23873.png][]

在这个映射化简操作中，MongoDB对每个输入文档（例如集合中满足查询条件的文档）执行了\*map\*操作。映射操作输出了键值对结果。对那些有多个值的关键字，MongoDB执行\*reduce\*操作，收集并压缩了最终的聚合结果。然后MongoDB把结果保存到一个集合中。化简函数还可以把结果输出到\*finalize\*函数，进一步对聚合结果做处理，当然这步是可选的。

在MongoDB中，所有的映射化简函数都是使用JavaScript编写，并且运行在 [mongod][] 进程中。映射化简操作使用一个集合中文档作为\*输入\*，并且可以在映射阶段之前执行任意的排序和限定操作。 [mapReduce][] 命令可以把结果作为一个文档来返回，也可以把结果写入集合。输入集合和输出集合可以是分片的。

### 在mongodb中，mapreduce的语法如下： ###

db.table.mapReduce(
            map,
            reduce,
            {
                query: query,
                out: out,    //指定结果集以什么方式存储，可选参数包括：
                            //replace:如果文档(table)存在，则替换table，
                            //merge:如果文档中存在记录，则覆盖已存在的文档记录
                            //reduce: 如果文档中存在相同key的记录了，则先计算两条记录，然后覆盖旧记录
                            // {inline:1}  在内存中存储记录，不写入磁盘(用户数据量少的计算)
                sort: sort,
                limit: limit,
                finalize: function  //这个function主要用来在存入out之前可以修改数据，function(key,values) { 
                                    //return modifiedValues;}
                scope: document,    //指定reduce可访问的文档范围
                jsMode:boolean      //指定是否在map和ruduce之间立即将数据转换为Bason格式，默认为false
                                    //如果想设置为true,则要记住官方我那当的注意事项：
                                    //You can only use jsMode for result sets with fewer than
                         //500,000 distinct key arguments to the mapper’s emit()function.
                verbose:boolean     //是否在结果集中包含timing信息，默认是包含的
            }
        )

在做mongodb的mapreduce时，要确保你的query是可以利用到索引的，不然在大数据量的统计下，将会托夸整个数据库，如果确实没办法建索引，那么就在结果集中判断一些不符合条件的数据，而去掉query。

### mapreduce的语法其实很简单，只不过这里面有几点需要注意一下： ###

1.在map中，mongodb是每1000条数据就reduce一次

2.在map中，如果你想统计一个数据之和，需要这样写：

emit(key:this.key,sum:0\})

然后再在reduce里需要将上一次的sum迭代累加起来，然后return \{sum:sum\};如果不这样做，你计算出来的数据总是最后不足1000条数据之后统计出来的，而前面的数据就都丢失了。

3.如果能不用mapreduce，就不用，程序能够统计的，就不要用mongodb频繁统计。

4.mapreduce的结果集的数据格式是：\{\_id:key,value:\{\}\},因此如果想直接使用这个表的话，最好再重新将数据格式整理一次，尽量将数据放在最上次，而不是再用value.xxx去查询。

这里附上统计我们网站的用户发表内容的数量的mapreduce，仅供一种代码格式的参考价值吧：

如果本篇文章对你有帮助的话，很高兴能够帮助上你。

当然，如果你觉得文章有什么让你觉得不合理、或者有更简单的实现方法又或者有理解不来的地方，希望你在看到之后能够在评论里指出来，我会在看到之后尽快的回复你。

[Reduce]: https://so.csdn.net/so/search?q=Reduce&spm=1001.2101.3001.7020
[Link 1]: https://mongoing.com/docs/core/map-reduce.html
[mapReduce]: https://mongoing.com/docs/reference/command/mapReduce.html#dbcmd.mapReduce
[73f31bc412dda5b34a06ca6757f23873.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/fa60422f12054859bfaec50412f669d7.png
[mongod]: https://mongoing.com/docs/reference/program/mongod.html#bin.mongod