mongoDB aggregate聚合分析

刺骨的言语ヽ痛彻心扉 2023-10-17 22:49 70阅读 0赞

**简介**

聚集操作实际上是对数据进行统计分析时使用的，简单的说，可以理解为SQL中的聚合操作，MongoDB中的聚集操作是为了大数据分析做准备的，这里简单介绍一下聚集框架aggregate的使用。

**管道模式聚集分析**

MongoDB的聚合框架是参考UNIX上的管道命令实现的，数据通过一个多步骤的管道，每个步骤都会对数据进行加工处理，最后返回需要的结果集。  
管道聚集是可以操作一个分片的集合的（The aggregation pipeline can operate on a sharded collection.）  
管道聚集在某一些阶段可以利用索引提高性能，另外，管道聚集还有一个一个内部优化阶段（后面管道聚集优化会讲到）。

常见的管道操作符有如下：

<table> 
 <thead> 
 <tr> 
 <td style="background-color:#eff3f5;border-color:#dddddd;"> 操作符 </td> 
 <td style="background-color:#eff3f5;border-color:#dddddd;"> 说明 </td> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="background-color:#ffffff;border-color:#dddddd;"> $match </td> 
 <td style="background-color:#ffffff;"> 过滤文档 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#f7f7f7;border-color:#dddddd;"> $limit </td> 
 <td style="background-color:#f7f7f7;"> 限制管道中文件的数据 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#ffffff;border-color:#dddddd;"> $skip </td> 
 <td style="background-color:#ffffff;"> 跳过指定的文档数量 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#f7f7f7;border-color:#dddddd;"> $sort </td> 
 <td style="background-color:#f7f7f7;"> 对所输入的文档进行排序 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#ffffff;border-color:#dddddd;"> $group </td> 
 <td style="background-color:#ffffff;"> 对文档进行分组后计算聚集结果 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#f7f7f7;border-color:#dddddd;"> $out </td> 
 <td style="background-color:#f7f7f7;"> 输出文档到具体的集合中（必须是管道操作的最后一步） </td> 
 </tr> 
 </tbody> 
</table>

与$group一起使用的聚集操符：

<table> 
 <thead> 
 <tr> 
 <td style="background-color:#eff3f5;border-color:#dddddd;"> 操作符 </td> 
 <td style="background-color:#eff3f5;border-color:#dddddd;"> 说明 </td> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="background-color:#ffffff;border-color:#dddddd;"> $first </td> 
 <td style="background-color:#ffffff;"> 返回group后的第一个值 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#f7f7f7;border-color:#dddddd;"> $last </td> 
 <td style="background-color:#f7f7f7;"> 返回group后的最后一个值 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#ffffff;border-color:#dddddd;"> $max </td> 
 <td style="background-color:#ffffff;"> group后的最大值 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#f7f7f7;border-color:#dddddd;"> $min </td> 
 <td style="background-color:#f7f7f7;"> group后的最小值 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#ffffff;border-color:#dddddd;"> $avg </td> 
 <td style="background-color:#ffffff;"> group后的平均值 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#f7f7f7;border-color:#dddddd;"> $sum </td> 
 <td style="background-color:#f7f7f7;"> group后求和 </td> 
 </tr> 
 </tbody> 
</table>

示例：

db.Collection.aggregate(

\{$match : \{"appId" : "2e1800b22ae70600", "leaveTime" : \{"$gt" : ISODate("2017-07-12T00:00:00"), "$lt" : ISODate("2017-07-13T00:00:00")\}\}\},

\{$group : \{"\_id" : "$leaveMethod", "count" : \{$sum : 1\}\}\},

\{$sort : \{"\_id" : 1\}\}

)

**集成到****java****操作**

首先要导入mongodb的java驱动包mongo-java-driver-3.2.2.jar

使用 new Document()对象来替代上面\{“XXX”:”XXX”\}条件

示例：

public String aggregateLeaveMethodByDate(String app_id, Date beginDate, Date endDate) throws Exception {
 
               MongoCollection<Document> collection = PluginMongo.instance().getDatabase().getCollection(MongoCollectionName.PARKING_RECORD);
 
               Document sub_match = new Document();
 
               sub_match.put("appId", app_id);
 
               sub_match.put("leaveTime", new Document("$gt", beginDate).append("$lt", endDate));
 
              
 
               Document sub_group = new Document();
 
               sub_group.put("_id", "$leaveMethod");
 
               sub_group.put("count", new Document("$sum", 1));
 
              
 
               Document match = new Document("$match", sub_match);
 
               Document group = new Document("$group", sub_group);
 
               Document sort = new Document("$sort", new Document("_id", 1));
 
              
 
               List<Document> aggregateList = new ArrayList<Document>();
 
               aggregateList.add(match);
 
               aggregateList.add(group);
 
               aggregateList.add(sort);
 
              
 
               JSONObject ret_obj = new JSONObject();
 
               AggregateIterable<Document> resultset = collection.aggregate(aggregateList);
 
               MongoCursor<Document> cursor = resultset.iterator();
 
              
 
               try {
 
                      while(cursor.hasNext()) {
 
                             Document item_doc = cursor.next();
 
                             int leaveMethod = item_doc.getInteger("_id", 0);
 
                             int count = item_doc.getInteger("count", 0);
 
                            
 
                             LeaveMethodEnum leaveMethodVal = LeaveMethodEnum.fromType(leaveMethod);
 
                             ret_obj.put(leaveMethodVal.name(), count);
 
                      }
 
               } finally {
 
                      cursor.close();
 
               }
 
              
 
               return ret_obj.toJSONString();
 
        }