mongodb 增删查改

淡淡的烟草味﹌ 2022-01-11 11:17 403阅读 0赞

**安装模块 pip install pymongo**

MongoClient对象：用于与MongoDB服务器建立连接

*  client=MongoClient('主机ip',端口)

DataBase对象：对应着MongoDB中的数据库

*  db=client.数据库名称

Collection对象：对应着MongoDB中的集合

*  col=db.集合名称

Cursor对象：查询方法find()返回的对象，用于进行多行数据的遍历

*  当调用集合对象的find()方法时，会返回Cursor对象  
    结合for...in...遍历cursor对象

**主要方法:**

*  insert\_one：加入一条文档对象
 *  insert\_many：加入多条文档对象
 *  find\_one：查找一条文档对象
 *  find：查找多条文档对象
 *  update\_one：更新一条文档对象
 *  update\_many：更新多条文档对象
 *  delete\_one：删除一条文档对象
 *  delete\_many：删除多条文档对象

## **插入方法：** ##

*  insert\_one() 传入一个字典，表示插入一个文档
 *  insert\_many() 传入一个列表，列表的元素为字典，插入多条文档

from pymongo import *
    
    def insert():
             # 1 创建连接对象
             client = MongoClient(host="localhost", port=27017)
             # 2 获取数据库,
             # 如果这个数据库不存在，就在内存中虚拟创建
             # 当在库里创建集合的时候，就会在物理真实创建这个数据库
             db = client.demo    # 使用demo数据库
             # 向stu集合插入数据
             # 插入一条
             db.stu.insert_one({"name": "zs", "age": })
             # 插入多条
             db.stu.insert_many([{"name": 1}, {"name": }])

## **查询方法：** ##

from pymongo import *
     '''
     查询方法：
         find_one()返回满足条件的文档集中第一条数据，类型为字典
                     如果没有查询结果返回None
         方法find()返回满足条件的所有文档，类型为Cursor对象，可以使用for...in遍历，每项为字典对象
                 如果没有查询结果返一个空的Cursor对象
     '''
     def select():
             # 1 创建连接对象
             client = MongoClient(host="localhost", port=27017)
             # 2 获取数据库,
             # 如果这个数据库不存在，就在内存中虚拟创建
             # 当在库里创建集合的时候，就会在物理真实创建这个数据库
             db = client.demo    # 使用demo数据库
             # 从stu查询数据
             # 查询一条,返回一个字典，如果没有结果返回None
             res = db.stu.find_one({"age": 18})
             print(res)
             # 查询全部结果，返回一个Cursor可迭代对象，每一个元素是字典
             # 如果没有查询结果会返回一个空的Cursor对象
             res = db.stu.find({"age": {"$gt": 18}})
             print(res)

## **修改方法：** ##

update_one()修改满足条件的文档集中的第一条文档
    update_many()修改满足条件的文档集中的所有文档
    注意：使用$set操作符修改特定属性的值，否则会修改整个文档

from pymongo import *
     '''
     修改方法：
         update_one()修改满足条件的文档集中的第一条文档
         update_many()修改满足条件的文档集中的所有文档
         注意：使用$set操作符修改特定属性的值，否则会修改整个文档
     '''
     def update():
             # 1 创建连接对象
             client = MongoClient(host="localhost", port=27017)
             # 2 获取数据库,
             # 如果这个数据库不存在，就在内存中虚拟创建
             # 当在库里创建集合的时候，就会在物理真实创建这个数据库
             db = client.demo    # 使用demo数据库
             # 修改数据
             # 修改第一条符合条件的数据，传入条件和修改结果
             db.stu.update_one({"age": 18},{"$set": {"age": 100}})  # 把年龄是18的第一条年龄改成100
             # 所有符合条件数据都修改
             # db.stu.update_many({"age": 18},{"$set": {"age": 100}}) # 年龄18的所有数据年龄改成100

## **删除方法：** ##

delete_one()删除满足条件的文档集中第一条文档
    delete_many()删除满足条件的所有文档
    注意：使用$set操作符修改特定属性的值，否则会修改整个文档

from pymongo import *
     '''
     删除方法：
         delete_one()删除满足条件的文档集中第一条文档
         delete_many()删除满足条件的所有文档
         注意：使用$set操作符修改特定属性的值，否则会修改整个文档
     '''
    def delete():
    
             # 1 创建连接对象
             client = MongoClient(host="localhost", port=27017)
             # 2 获取数据库,
             # 如果这个数据库不存在，就在内存中虚拟创建
             # 当在库里创建集合的时候，就会在物理真实创建这个数据库
             db = client.demo    # 使用demo数据库
             # 修改数据
             # 修改第一条符合条件的文档删除
             db.stu.delete_one({"age": 18})  # 把年龄是18的第一条文档删除
             # 所有符合条件数据都删除
             db.stu.delete_many({"age": 18}) # 年龄18的所有文档删除

## 查 ##

### **一、比较运算：**=，!= ('$ne') ，> ('$gt') ，< ('$lt') ，>= ('$gte') ，<= ('$lte') ###

=，!= ('$ne') ，> ('$gt') ，< ('$lt') ，>= ('$gte') ，<= ('$lte')
    #1、select * from db1.user where id = 3
    db.user.find({"_id":3})
    
    #2、select * from db1.user where id != 3
    db.user.find({"_id":{"$ne":3}})
    
    #3、select * from db1.user where id > 3
    db.user.find({"_id":{"$gt":3}})
    
    #4、select * from db1.user where age < 3
    db.user.find({"age":{"$lt":3}})
    
    #5、select * from db1.user where id >= 3
    db.user.find({"_id":{"$gte":3}})
    
    #6、select * from db1.user where id <= 3
    db.user.find({"_id":{"$lte":3}})

### **二、逻辑运算：**MongoDB中字典内用逗号分隔多个条件是and关系，或者直接用$and，$o，r$not（与或非） ###

#逻辑运算:$and,$or,$not
    #1 select * from db1.user where id >=3 and id <=4;
    db.user.find({"_id":{"$gte":3,"$lte":4}})
    
    #2 select * from db1.user where id >=3 and id <=4 and age >=40;
    db.user.find({
        "_id":{"$gte":3,"$lte":4},
        "age":{"$gte":40}
    })
    
    db.user.find({"$and":[
    {"_id":{"$gte":3,"$lte":4}},
    {"age":{"$gte":40}}
    ]})
    
    #3 select * from db1.user where id >=0 and id <=1 or id >=4 or name = "yuanhao";
    db.user.find({"$or":[
    {"_id":{"$lte":1,"$gte":0}},
    {"_id":{"$gte":4}},
    {"name":"yuanhao"}
    ]})
    
    #4 select * from db1.user where id % 2 = 1;
    db.user.find({"_id":{"$mod":[2,1]}})
    
    db.user.find({
        "_id":{"$not":{"$mod":[2,1]}}
    })

### **三、成员运算：**成员运算无非in和not in，MongoDB中形式为$in ， $nin ###

#1、select * from db1.user where age in (20,30,31);
    db.user.find({"age":{"$in":[20,30,31]}})
    
    #2、select * from db1.user where name not in ('alex','yuanhao');
    db.user.find({"name":{"$nin":['Stefan','Damon']}})

### **四、正则：**正则定义在/ /内 ###

# MongoDB: /正则表达/i
    
    #1、select * from db1.user where name regexp '^j.*?(g|n)$';
    db.user.find({'name':/^j.*?(g|n)$/i})#匹配规则：j开头、g或n结尾，不区分大小写

### **五、查看指定字段**：0表示不显示1表示显示 ###

#1、select name,age from db1.user where id=3;
    db.user.find({'_id':3},{'_id':0,'name':1,'age':1})
    
    #2、select name,age from db1.user where name regexp "^jin.*?(g|n)$";
    db.user.find({
        "name":/^jin.*?(g|n)$/i
    },
    {
        "_id":0,
        "name":1,
        "age":1
    }
    )

### **六、对数组的查询：** ###

#查询数组相关
    #查hobbies中有dancing的人
    db.user.find({
        "hobbies":"dancing"
    })
    #查看既有dancing爱好又有tea爱好的人
    db.user.find({
        "hobbies":{"$all":["dancing","tea"]}
    })
    #查看第2个爱好为dancing的人
    db.user.find({
        "hobbies.2":"dancing"
    })
    #查看所有人的第2个到第3个爱好
    db.user.find(
    {},
    {
        "_id":0,
        "name":0,
        "age":0,
        "addr":0,
        "hobbies":{"$slice":[1,2]},
    }
    )
    
    #查看所有人最后两个爱好，第一个{}表示查询条件为所有，第二个是显示条件
    db.user.find(
    {},
    {
        "_id":0,
        "name":0,
        "age":0,
        "addr":0,
        "hobbies":{"$slice":-2},
    }
    )
    
    #查询子文档有"country":"China"的人
    db.user.find(
    {
        "addr.country":"China"
    }
    )

### **七、对查询结果进行排序：**sort()  1代表升序、-1代表降序 ###

db.user.find().sort({"name":1,})
    db.user.find().sort({"age":-1,'_id':1})

### **八、分页：**limit表示取多少个document，skip代表跳过几个document ###

#这样就做到了分页的效果
    db.user.find().limit(2).skip(0)#前两个
    db.user.find().limit(2).skip(2)#第三个和第四个
    db.user.find().limit(2).skip(4)#第五个和第六个

### **九、获取数量：**count() ###

#查询年龄大于30的人数
    #方式一：
    db.user.count({'age':{"$gt":30}}) 
    
    #方式二：
    db.user.find({'age':{"$gt":30}}).count()

### **十、其他：**查找所有、去重、查找key为null的项 ###

#1、查找所有
    db.user.find() #等同于db.user.find({})
    db.user.find().pretty()
    #2、去重
    db.user.find().distinct()
    
    #3、{'key':null} 匹配key的值为null或者没有这个key
    db.t2.insert({'a':10,'b':111})
    db.t2.insert({'a':20})
    db.t2.insert({'b':null})
    db.t2.find({"b":null})#得到的是b这个key的值为null和没有b这个key的文档
    { "_id" : ObjectId("5a5cc2a7c1b4645aad959e5a"), "a" : 20 }
    { "_id" : ObjectId("5a5cc2a8c1b4645aad959e5b"), "b" : null }

## **改** ##

### **1、常规修改操作：** ###

#设数据为{'name':'武松'，'age':18,'hobbies':['做煎饼','吃煎饼','卖煎饼'],'addr':{'country':'song','province':'shandong'}}
    #update db1.user set age=23,name="武大郎" where name="武松";
    #1、覆盖式
    db.user.update(
        {"name":"武松"},
        {"age":23,"name":"武大郎"}
    )
    #得到的结果为{"age":23,"name":"武大郎"}
    
    #2、局部修改:$set
    db.user.update(
        {"name":"武松"},
        {"$set":{"age":15,"name":"潘金莲"}}
    )
    #得到的结果为{"name":"潘金莲","age":15,'hobbies':['做煎饼','吃煎饼','卖煎饼']}
    
    #3、改多条：将multi参数设为true
    db.user.update(
        {"_id":{"$gte":1,"$lte":2}},
        {"$set":{"age":53,}},
        {"multi":true}
    )
    #4、有则修改，无则添加：upsert参数设为true
    db.user.update(
        {"name":"EGON"},
        {"$set":{"name":"EGON","age":28,}},
        {"multi":true,"upsert":true}
    )
    
    #5、修改嵌套文档:将国家改为日本
    db.user.update(
        {"name":"潘金莲"},
        {"$set":{"addr.country":"Japan"}}
    )
    
    #6、修改数组：将第一个爱好改为洗澡
    db.user.update(
        {"name":"潘金莲"},
        {"$set":{"hobbies.1":"洗澡"}}
    )
    
    #删除字段：不要爱好了
    db.user.update(
        {"name":"潘金莲"},
        {"$unset":{"hobbies":""}}
    )

### **2、加减操作：$inc** ###

#增加和减少$inc
    #年龄都+1
    db.user.update(
        {},
        {"$inc":{"age":1}},
        {"multi":true}
    )
    #年龄都-10
    db.user.update(
        {},
        {"$inc":{"age":-10}},
        {"multi":true}
    )

### **3、添加删除数组内元祖$push  $pop  $pull** ###

*  $push的功能是往现有数组内添加元素

#1、为名字为武大郎的人添加一个爱好read
    db.user.update({"name":"武大郎"},{"$push":{"hobbies":"read"}})
    
    #2、为名字为武大郎的人一次添加多个爱好tea，dancing
    db.user.update({"name":"武大郎"},{"$push":{
        "hobbies":{"$each":["tea","dancing"]}
    }})

*  $pop的功能是按照位置只能从头或从尾即两端删元素，类似于队列。1代表尾，-1代表头

#1、{"$pop":{"key":1}} 从数组末尾删除一个元素
    
    db.user.update({"name":"武大郎"},{"$pop":{
        "hobbies":1}
    })
    
    #2、{"$pop":{"key":-1}} 从头部删除
    db.user.update({"name":"武大郎"},{"$pop":{
        "hobbies":-1}
    })

*  $pull可以自定义条件删除

db.user.update({'addr.country':"China"},{"$pull":{
        "hobbies":"read"}
    },
    {
        "multi":true
    }
    )

### **4、避免重复添加  $addToSet**    即多个相同元素要求插入时只插入一条 ###

db.urls.insert({"_id":1,"urls":[]})
    
    db.urls.update(
         {"_id":1},
         {
        "$addToSet":{
            "urls":{
            "$each":[
                'http://www.baidu.com',
                'http://www.baidu.com',
                'http://www.xxxx.com'
                ]
                }
            }
        }
    )

### **5、了解部分** ###

#1、了解：限制大小"$slice"，只留最后n个
    
    db.user.update({"_id":5},{
        "$push":{"hobbies":{
            "$each":["read",'music','dancing'],
            "$slice":-2
        }
        }
    })
    
    #2、了解：排序The $sort element value must be either 1 or -1"
    db.user.update({"_id":5},{
        "$push":{"hobbies":{
            "$each":["read",'music','dancing'],
            "$slice":-1,
            "$sort":-1
        }
        }
    })
    
    #注意：不能只将"$slice"或者"$sort"与"$push"配合使用，且必须使用"$each"

## **聚合操作：** ##

我们在查询时肯定会用到聚合，在MongoDB中聚合为aggregate，聚合函数主要用到$match $group $avg $project $concat

假设我们的数据库中有这样的数据

from pymongo import MongoClient
    import datetime
    
    client=MongoClient('mongodb://root:123@localhost:27017')
    table=client['db1']['emp']
    # table.drop()
    
    l=[
    ('武大郎','male',18,'20170301','烧饼检察官',7300.33,401,1), 
    ('武松','male',78,'20150302','公务员',1000000.31,401,1),
    ('宋江','male',81,'20130305','公务员',8300,401,1),
    ('林冲','male',73,'20140701','公务员',3500,401,1),
    ('柴进','male',28,'20121101','公务员',2100,401,1),
    ('卢俊义','female',18,'20110211','公务员',9000,401,1),
    ('高俅','male',18,'19000301','公务员',30000,401,1),
    ('鲁智深','male',48,'20101111','公务员',10000,401,1),
    
    ('史进','female',48,'20150311','打手',3000.13,402,2),
    ('李逵','female',38,'20101101','打手',2000.35,402,2),
    ('周通','female',18,'20110312','打手',1000.37,402,2),
    ('石秀','female',18,'20160513','打手',3000.29,402,2),
    ('李忠','female',28,'20170127','打手',4000.33,402,2),
    
    ('吴用','male',28,'20160311','文人',10000.13,403,3), 
    ('萧让','male',18,'19970312','文人',20000,403,3),
    ('安道全','female',18,'20130311','文人',19000,403,3),
    ('公孙胜','male',18,'20150411','文人',18000,403,3),
    ('朱贵','female',18,'20140512','文人',17000,403,3)
    ]
    
    for n,item in enumerate(l):
        d={
            "_id":n,
            'name':item[0],
            'sex':item[1],
            'age':item[2],
            'hire_date':datetime.datetime.strptime(item[3],'%Y%m%d'),
            'post':item[4],
            'salary':item[5]
        }
        table.save(d)

*  **$match和 $group：**相当于sql语句中的where和group by

{"$match":{"字段":"条件"}},可以使用任何常用查询操作符$gt,$lt,$in等
    
    #例1、select * from db1.emp where post='公务员';
    db.emp.aggregate({"$match":{"post":"公务员"}})
    
    #例2、select * from db1.emp where id > 3 group by post;  
    db.emp.aggregate(
        {"$match":{"_id":{"$gt":3}}},
        {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}}
    )
    
    #例3、select * from db1.emp where id > 3 group by post having avg(salary) > 10000;  
    db.emp.aggregate(
        {"$match":{"_id":{"$gt":3}}},
        {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}},
        {"$match":{"avg_salary":{"$gt":10000}}}
    )

{"$group":{"_id":分组字段,"新的字段名":聚合操作符}}
    
    #1、将分组字段传给$group函数的_id字段即可
    {"$group":{"_id":"$sex"}} #按照性别分组
    {"$group":{"_id":"$post"}} #按照职位分组
    {"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多个字段分组，比如按照州市分组
    
    #2、分组后聚合得结果,类似于sql中聚合函数的聚合操作符：$sum、$avg、$max、$min、$first、$last
    #例1：select post,max(salary) from db1.emp group by post; 
    db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}})
    
    #例2：取每个部门最大薪资与最低薪资
    db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}})
    
    #例3：如果字段是排序后的，那么$first,$last会很有用,比用$max和$min效率高
    db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}})
    
    #例4：求每个部门的总工资
    db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}})
    
    #例5：求每个部门的人数
    db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})
    
    #3、数组操作符
    {"$addToSet":expr}#不重复
    {"$push":expr}#重复
    
    #例：查询岗位名以及各岗位内的员工姓名:select post,group_concat(name) from db1.emp group by post;
    db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}})
    db.emp.aggregate({"$group":{"_id":"$post","names":{"$addToSet":"$name"}}})

*  **$project：**用于投射，即设定该键值对是否保留。1为保留，0为不保留，可对原有键值对做操作后增加自定义表达式

{"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表达式"}}
    
    #select name,post,(age+1) as new_age from db1.emp;
    db.emp.aggregate(
        {"$project":{
            "name":1,
            "post":1,
            "new_age":{"$add":["$age",1]}
            }
    })

#1、表达式之数学表达式
    {"$add":[expr1,expr2,...,exprN]} #相加
    {"$subtract":[expr1,expr2]} #第一个减第二个
    {"$multiply":[expr1,expr2,...,exprN]} #相乘
    {"$divide":[expr1,expr2]} #第一个表达式除以第二个表达式的商作为结果
    {"$mod":[expr1,expr2]} #第一个表达式除以第二个表达式得到的余数作为结果
    
    #2、表达式之日期表达式:$year,$month,$week,$dayOfMonth,$dayOfWeek,$dayOfYear,$hour,$minute,$second
    #例如：select name,date_format("%Y") as hire_year from db1.emp
    db.emp.aggregate(
        {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}}
    )
    
    #例如查看每个员工的工作多长时间
    db.emp.aggregate(
        {"$project":{"name":1,"hire_period":{
            "$subtract":[
                {"$year":new Date()},
                {"$year":"$hire_date"}
            ]
        }}}
    )
    
    #3、字符串表达式
    {"$substr":[字符串/$值为字符串的字段名,起始位置,截取几个字节]}
    {"$concat":[expr1,expr2,...,exprN]} #指定的表达式或字符串连接在一起返回,只支持字符串拼接
    {"$toLower":expr}
    {"$toUpper":expr}
    
    db.emp.aggregate( {"$project":{"NAME":{"$toUpper":"$name"}}})
    
    #4、逻辑表达式
    $and
    $or
    $not

*  **排序：$sort、限制：$limit、跳过：$skip**

{"$sort":{"字段名":1,"字段名":-1}} #1升序，-1降序
    {"$limit":n} 
    {"$skip":n} #跳过多少个文档
    
    #例1、取平均工资最高的前两个部门
    db.emp.aggregate(
    {
        "$group":{"_id":"$post","平均工资":{"$avg":"$salary"}}
    },
    {
        "$sort":{"平均工资":-1}
    },
    {
        "$limit":2
    }
    )
    #例2、
    db.emp.aggregate(
    {
        "$group":{"_id":"$post","平均工资":{"$avg":"$salary"}}
    },
    {
        "$sort":{"平均工资":-1}
    },
    {
        "$limit":2
    },
    {
        "$skip":1
    }
    )

*  **随机选取n个：$sample**

#集合users包含的文档如下
    { "_id" : 1, "name" : "dave123", "q1" : true, "q2" : true }
    { "_id" : 2, "name" : "dave2", "q1" : false, "q2" : false  }
    { "_id" : 3, "name" : "ahn", "q1" : true, "q2" : true  }
    { "_id" : 4, "name" : "li", "q1" : true, "q2" : false  }
    { "_id" : 5, "name" : "annT", "q1" : false, "q2" : true  }
    { "_id" : 6, "name" : "li", "q1" : true, "q2" : true  }
    { "_id" : 7, "name" : "ty", "q1" : false, "q2" : true  }
    
    #下述操作时从users集合中随机选取3个文档
    db.users.aggregate(
       [ { $sample: { size: 3 } } ]
    )

## 更局部的某个数组里的某个字典的数据 ##

数据格式如下

user_algorithms = {
        'user_id': '01user',
        'algorithms': [{'name': 'qqqqq', 'remark': '', 'create_time': '2019-1-11', 'category': 'code1'},
        {'name': 'xxxxx', 'remark': '2B', 'create_time': '2222-22-22', 'category': 'code2'}],
        'is_local': True
    }

from pymongo import MongoClient
    client = MongoClient('127.0.0.1', 27017)
    db = client.god.algorithms
    
    def now_data_time():
        """
        获取当前时间
        :return: 
        """
        import time
        import datetime
        t = time.time()
        now_time = datetime.datetime.fromtimestamp(t).strftime('%Y/%m/%d %H:%M:%S')
        return now_time
    
    user_algorithms = db.find({'user_id': user_id})
    if user_algorithms.count() == 0:
        print('没有数据')
    for i in user_algorithms:
        print(i)
    
        for algorithms in i['algorithms']:
            # print(algorithms)
            if algorithms['create_time'] == create_time:
                algorithms['name'] = 'wwwww'
                algorithms['category'] = "code"
                algorithms['remark'] = '你'
                algorithms['create_time'] = now_data_time()
                db.update({'_id': i['_id']}, i)   # 更新数据
            else:
                print('没匹配上')

结果如下

{ "_id" : ObjectId("5cb85df65cc2c843123123ae"), "user_id" : "01user", "algorithms" : [ { "name" : "wwwww", "remark" : " 你", "create_time" : "2019/04/18 20:04:34", "category" : "code" }, { "name" : "xxxxx", "remark" : "2B", "create_time" : "2222-22-22", "category" : "code2" } ], "is_local" : true }

## 将\_id字段的object转换成str,str转换成object ##

from bson.objectid import ObjectId
    user_id = db.user.find({"mobile": "18312323542"})
    # print(user_id)
    for user in user_id:
        user['_id'] = str(user['_id'])  # 转成字符串
    user_id = db.user.find({"_id": ObjectId("5cb0732a5cc2c80e484e1cf5")})  # 转成对象ObjectId

转载于:https://blog.51cto.com/13764714/2383074