MongoDB MapReduce使用

╰半夏微凉° 2022-08-07 06:40 155阅读 0赞

MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务，分配到多服务器上并行处理。  
MongoDB也提供了MapReduce，当然查询语肯定是JavaScript。MongoDB中的MapReduce主要有以下几阶段：  
1.Map:把一个操作Map到集合中的每一个文档  
2.Shuffle: 根据Key分组对文档，并且为每个不同的Key生成一系列(>=1个)的值表(List of values)。  
3.Reduce: 处理值表中的元素，直到值表中只有一个元素。然后将值表返回到Shuffle过程，循环处理，直到每个Key只对应一个值表，并且此值表中只有一个元素，这就是MR的结果。  
4.Finalize：此步骤不是必须的。在得到MR最终结果后，再进行一些数据“修剪”性质的处理。  
MongoDB中使用emit函数向MapReduce提供Key/Value对。  
Reduce函数接受两个参数：Key,emits. Key即为emit函数中的Key。 emits是一个数组，它的元素就是emit函数提供的Value。  
Reduce函数的返回结果必须要能被Map或者Reduce重复使用，所以返回结果必须与emits中元素结构一致。   
Map或者Reduce函数中的this关键字，代表当前被Mapping文档。  
使用MapReduce要实现两个函数Map函数和Reduce函数，Map函数调用emit(key,value),遍历collection中的所有记录，将key和value传递给Reduce函数进行处理。Map函数和Reduce函数可以使用JS来实现，可以通过db.runCommand或mapReduce命令来执行一个MapReduce操作。

db.runCommand({
    	mapreduce: <collection>,
    	map: <mapfunction>,
    	reduce: <reducefunction>[,
    	query: <queryfilterobject>][,
    	sort: <sortstheinputobjectsusingthiskey.Usefulforoptimization,
    	likesortingbytheemitkeyforfewerreduces>][,
    	limit: <numberofobjectstoreturnfromcollection>][,
    	out: <seeoutputoptionsbelow>][,
    	keeptemp: <true|false>][,
    	finalize: <finalizefunction>][,
    	scope: <objectwherefieldsgointojavascriptglobalscope>][,
    	verbose: true]
    });

**参数说明:**  
mapreduce: 要操作的目标集合。  
map: 映射函数 (生成键值对序列，作为 reduce 函数参数)。  
reduce: 统计函数。  
query: 目标记录过滤。  
sort: 目标记录排序。  
limit: 限制目标记录数量。  
out: 统计结果存放集合 (不指定则使用临时集合，在客户端断开后自动删除)。  
keeptemp: 是否保留临时集合。  
finalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)。  
scope: 向 map、reduce、finalize 导入外部变量。  
verbose: 显示详细的时间统计信息。  
准备数据：

>db.student.insert({classid:1, age:14, name:'Tom'});
    >db.student.insert({classid:1, age:12, name:'Jacky'});
    >db.student.insert({classid:2, age:16, name:'Lily'});
    >db.student.insert({classid:2, age:9, name:'Tony'});
    >db.student.insert({classid:2, age:19, name:'Harry'});
    >db.student.insert({classid:2, age:13, name:'Vincent'});
    >db.student.insert({classid:1, age:14, name:'Bill'});
    >db.student.insert({classid:2, age:17, name:'Bruce'});
    >db.student.insert({classid:1, age:8, name:'Lucy'});
    > db.student.find();
    { "_id" : ObjectId("550936853b42e8050fa8aea7"), "classid" : 1, "age" : 14, "name" : "Tom" }
    { "_id" : ObjectId("550936883b42e8050fa8aea8"), "classid" : 1, "age" : 12, "name" : "Jacky" }
    { "_id" : ObjectId("5509368b3b42e8050fa8aea9"), "classid" : 2, "age" : 16, "name" : "Lily" }
    { "_id" : ObjectId("550936903b42e8050fa8aeaa"), "classid" : 2, "age" : 9, "name" : "Tony" }
    { "_id" : ObjectId("550936933b42e8050fa8aeab"), "classid" : 2, "age" : 19, "name" : "Harry" }
    { "_id" : ObjectId("550936973b42e8050fa8aeac"), "classid" : 2, "age" : 13, "name" : "Vincent" }
    { "_id" : ObjectId("5509369b3b42e8050fa8aead"), "classid" : 1, "age" : 14, "name" : "Bill" }
    { "_id" : ObjectId("5509369e3b42e8050fa8aeae"), "classid" : 2, "age" : 17, "name" : "Bruce" }
    { "_id" : ObjectId("550938c23b42e8050fa8aeaf"), "classid" : 1, "age" : 8, "name" : "Lucy" }

下面我们统计1班和2班的学生数量，Map 函数必须调用 emit(key, value) 返回键值对，使用 this 访问当前待处理的 Document。  
定义map：

>map=function(){emit(this.classid, 1)};
    function(){
    	emit(this.classid,
    	1);
    }

value可以使用 JSON Object 传递 (支持多个属性值)。例如:  
emit(this.classid, \{count:1\})  
Reduce 函数接收的参数类似 Group 效果，将Map 返回的键值序列组合成 \{ key, \[value1,value2, value3, value...\] \} 传递给 reduce。

> reduce=function (key, values) {
    	varx=0;values.forEach(function(v){
    		x+=v;
    	});returnx;
    };
    function(key,
    values){
    	varx=0;values.forEach(function(v){
    		x+=v;
    	});returnx;
    }

Reduce 函数对这些 values 进行 "统计" 操作，返回结果可以使用 JSON Object。

>result=db.runCommand({mapreduce:"student",map:map,reduce:reduce,out:"student_result"});
    {
    	"result": "student_result",
    	"timeMillis": 51,
    	"counts": {
    		"input": 9,
    		"emit": 9,
    		"reduce": 2,
    		"output": 2
    	},
    	"ok": 1,
    	"$gleStats": {
    		"lastOpTime": {
    			"t": 1426667767000,
    			"i": 4
    		},
    		"electionId": ObjectId("5508de2cd812466ec2804cc9")
    	}
    }
    > db.student_result.find();
    { "_id" : 1, "value" : 4 }
    { "_id" : 2, "value" : 5 }

mapReduce()将结果存储在 "student\_result" 表中。用 finalize() 我们可以对 reduce() 的结果做进一步处理。

>fun=function(key, value){return{classid:key, count:value};};
    function(key,
    value){
    	return{
    		classid: key,
    		count: value
    	};
    }

我们再重新计算一次，看看返回的结果:

>result=db.runCommand({mapreduce:"student",map:map,reduce:reduce,out:"student_result",finalize:fun});
    {
    	"result": "student_result",
    	"timeMillis": 7,
    	"counts": {
    		"input": 9,
    		"emit": 9,
    		"reduce": 2,
    		"output": 2
    	},
    	"ok": 1,
    	"$gleStats": {
    		"lastOpTime": {
    			"t": 1426667825000,
    			"i": 6
    		},
    		"electionId": ObjectId("5508de2cd812466ec2804cc9")
    	}
    }
    >db.student_result.find();
    { "_id" : 1, "value" : { "classid" : 1, "count" : 4 } }
    { "_id" : 2, "value" : { "classid" : 2, "count" : 5 } }

列名变与 “classid”和”count”了，这样的列表更容易理解。  
我们还可以添加更多的控制细节:

>result=db.runCommand({mapreduce:"student",map:map,reduce:reduce,out:"student_result",finalize:fun,query:{age:{$lt:10}}});
    {
    	"result": "student_result",
    	"timeMillis": 5,
    	"counts": {
    		"input": 2,
    		"emit": 2,
    		"reduce": 0,
    		"output": 2
    	},
    	"ok": 1,
    	"$gleStats": {
    		"lastOpTime": {
    			"t": 1426667856000,
    			"i": 6
    		},
    		"electionId": ObjectId("5508de2cd812466ec2804cc9")
    	}
    }
    >db.student_result.find();
    { "_id" : 1, "value" : { "classid" : 1, "count" : 1 } }
    { "_id" : 2, "value" : { "classid" : 2, "count" : 1 } }

可以看到先进行了过滤，只取age<10 的数据。  
参考：  
[http://joetang.blog.51cto.com/2296191/1610373][http_joetang.blog.51cto.com_2296191_1610373]

[http://blog.csdn.net/u013339851/article/details/23610139  
][http_blog.csdn.net_u013339851_article_details_23610139]

[http://www.w3cschool.cc/mongodb/mongodb-map-reduce.html  
][http_blog.csdn.net_u013339851_article_details_23610139]

[http_joetang.blog.51cto.com_2296191_1610373]: http://joetang.blog.51cto.com/2296191/1610373
[http_blog.csdn.net_u013339851_article_details_23610139]: http://blog.csdn.net/u013339851/article/details/23610139