2019-05-25 Python之Mongodb的使用

曾经终败给现在 2021-11-10 23:24 234阅读 0赞

Mongodb学习总结:

one.插入数据pass

two.查看数据pass

three.修改数据pass

four.数据排序pass

five.删除数据pass

一.安装Mongodb

[https://www.cnblogs.com/ymzm204/p/10947055.html][https_www.cnblogs.com_ymzm204_p_10947055.html]

二.测试Mongodb

（1）引入相关库

import pymongo

（2）连接数据库

client = pymongo.MongoClient(host='localhost', port=27017

（3）写入数据并且输出

import pymongo
    
    myclient = pymongo.MongoClient(host='localhost', port=27017) #连接
    my_set1 = myclient.University.test #连接University,如果没有则创建一个数据库 
    my_set2 = myclient.University.test2 #连接University,如果没有则创建一个数据库 
    dblist = myclient.list_database_names() #所有的数据库名字列表
    print(dblist)　　　　　　　　　　　　　　#查看已有的数据库
    my_set1.insert_one({
         "name":"zhangsan"}) #插入一个数据
    my_set2.insert_one({
         "name":"zhangsan"})
    for i in my_set1.find():
        print(i) #输出

（4）结果![1623092-20190525152232218-1385640163.png][]

三.实例运用——爬取中国大学排名并写入数据库，外加查询and创新

（1）爬取过程中到的数据写入数据库

from bs4 import BeautifulSoup
    import requests
    import pandas as pd
    import pymongo
    
    def client_Mongodb(port, path):
        myclient = pymongo.MongoClient(host='localhost', port=port)  # 连接
        my_set = myclient.path  # 连接path,如果没有则创建一个数据库
        return my_set
    
    def save_mongo(result):
        myclient = pymongo.MongoClient(host='localhost', port=27017)
        my_set = myclient.University.ranking
        try:
            if my_set.product.insert_one(result): #如果保存成功
                pass#print("数据保存成功")
        except Exception:
            print("数据保存失败")
    
    def save_list_to_Mongodb(lists):
        my_set = client_Mongodb(27017, 'University.ranking')
        product = {
            '排名': lists[0],
            '学校名称': lists[1],
            '省份': lists[2],
            '总分': lists[3],
            '生源质量（新生高考成绩得分）': lists[4],
            '培养结果（毕业生就业率': lists[5],
            '社会声誉（社会捐赠收入·千元': lists[6],
            '科研规模（论文数量·篇）': lists[7],
            '科研质量（论文质量·FWCI）': lists[8],
            '顶尖成果（高被引论文·篇）': lists[9],
            '顶尖人才（高被引学者·人）': lists[10],
            '科技服务（企业科研经费·千元': lists[11],
            '成果转化（技术转让收入·千元）': lists[12],
            '学生国际化（留学生比例）': lists[13],
            }  # 字典类型数据
        save_mongo(product)
    
    def getHTMLText(url):
        try:
            r = requests.get(url, timeout=10)
            r.raise_for_status()
            r.encoding = 'utf-8'
            return r.text
        except:
            return ""
    
    def filUnivList(soup):
        data = soup.find_all('tr')
        for tr in data:
            ltd = tr.find_all('td')
            if len(ltd) == 0:
                continue
            singleUniv = []
            for td in ltd:
                singleUniv.append(td.string)
            save_list_to_Mongodb(singleUniv)
    
    def main():
        url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
        html = getHTMLText(url)
        soup = BeautifulSoup(html, "html.parser")
        filUnivList(soup)
        print("完成")
        for i in pymongo.MongoClient(host='localhost', port=27017).University.ranking.product.find():
            print(i)  # 输出
    main()

结果：

![1623092-20190525171001343-2076521510.png][]

（2）csv格式文件写入到Mongodb数据库中

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    # @Time   : 2018/10/21 11:31
    # @Author  : deli Guo
    # @Site   :
    # @File   : csv文件存入mongoDB.py
    # @Software  : PyCharm
    
    # 导包
    import pymongo
    import csv
    
    # 创建连接MongoDB数据库函数
    def connection():
        # 1:连接本地MongoDB数据库服务
        myclient = pymongo.MongoClient("localhost")
        # 2:连接本地数据库(guazidata)。没有时会自动创建
        db = myclient.University
        # 3:创建集合
        my_set = db.ranking.product_test
        # 4:看情况是否选择清空
        my_set.delete_many({})
        return my_set #返回集合
    
    def insertToMongoDB(my_set):
        # 打开文件guazi.csv
        with open("E://testcsv.csv", 'r') as csvfile:
            # 调用csv中的DictReader函数直接获取数据为字典形式
            reader = csv.DictReader(csvfile)
            # 创建一个counts计数一下 看自己一共添加了了多少条数据
            counts = 0
            for each in reader:
                # 将数据中需要转换类型的数据转换类型。原本全是字符串（string）。
                '''each['index']=int(each['index'])
                each['价格']=float(each['价格'])
                each['原价']=float(each['原价'])
                each['上牌时间']=int(each['上牌时间'])
                each['表显里程']=float(each['表显里程'])
                each['排量']=float(each['排量'])
                each['过户数量']=int(each['过户数量'])
                '''
                my_set.insert_one(each)
                counts += 1
                print('成功添加了'+str(counts)+'条数据 ')
    # 创建主函数
    def main():
        my_set = connection()
        insertToMongoDB(my_set)
    # 判断是不是调用的main函数。这样以后调用的时候就可以防止不会多次调用 或者函数调用错误
    if __name__=='__main__':
        main()

（3）查询某大学排名，查询某省份所有大学，排序X条件的大学

（one）

import pymongo
    
    myclient = pymongo.MongoClient(host='localhost', port=27017)#连接
    mydb = myclient.University #数据库
    mycol = mydb.ranking.product_test #集合
    
    myquery = {
        "学校名称": "广东技术师范大学"}
    for i in mycol.find(myquery):
        print(i)

输出结果：｛'\_id': ObjectId('5cea018c8aac013e249fe115'), '': '286', '排名': '287', '学校名称': '广东技术师范大学', '省份': '广东',..........................省略..\}

（two）

myquery = {
        "省份": "广东"}

输出结果：

![1623092-20190530093534992-423958297.png][]

（three）降序，条件为省份为 广 字开头

myquery = {
        "省份": { "$regex": "广"}}
    for i in mycol.find(myquery).sort("排名", -1):
        print(i)

输出：可以发现 降序指按第一个数字为准，猜测原因：“排名”数据保存到数据库时候是以 str 形式保存的，为此，修改为int可能会有效 下面为已经更改类型后的测试

![1623092-20190530093649185-2040114658.png][]

（4）综合算法得出新排名并保存为一个新表

思路：添加新字段，同时根据算法添加新数据。

import pymongo
    import re
    
    myclient = pymongo.MongoClient(host='localhost', port=27017)
    my_set = myclient.University
    my_doc = my_set.ranking.product_test
    #my_doc.insert_one({"name": "{}"})
    
    weight = [0.9, 0.9, 0.8, 0.0001, 0.001, 1, 0.01, 1, 0.00001, 0.0001, 1] #权重 注意不要是str
    i = 0
    my_set.ranking.product_new = my_doc
    
    for c in my_doc.find(): #所有的数据，分行获取，处理
        temp_data_list = []
        k = 0  # 设置k的初始值
        for b in c.values(): #字典里所有的值
            temp_data_list.append(b) #把值加入到列表
        temp_data_list2 = temp_data_list[5:16] #获取列表里面有用数据 第 6-15 个
    
        for data in range(len(temp_data_list2)):  #进一步数据处理
            if temp_data_list2[data] == '':  #把 None 补为0
                temp_data_list2[data] = '0'  #这里有个小坑，不能赋值 为0 因为下面要去除 %和其他符号，提取数字，0为int，不是str,会有错误
            temp_data_list2[data] = float(re.sub("[^\d.]", "", temp_data_list2[data])) #正则表达式中'[^\d.]'表示除了数字和.），并用""替换，然后返回的就是只剩下数字的字符串 去除有 > 号的干扰,并转换为float
            k += temp_data_list2[data] * weight[data] #算法
        b = '%.2f' % k #改为小数点后两位
        #my_doc.update_one({}, {'$unset': {'新排名': ''}})
        my_doc.update_one({
        '_id': c['_id']}, {
        '$set': {
        '新总分': b}})
        i += 1
        print("已更新{}条数据".format(i))

![1623092-20190528220028910-839384029.png][]

存在的小问题：部分值为空，在使用算法时候需要注意

1.部分value竟然不是str， （124 中央民族大学）

2.存在>号，需要处理

转载于:https://www.cnblogs.com/ymzm204/p/10922612.html

[https_www.cnblogs.com_ymzm204_p_10947055.html]: https://www.cnblogs.com/ymzm204/p/10947055.html
[1623092-20190525152232218-1385640163.png]: /images/20211109/7cfb9ea582f84e6a92f1e0c86df5b3b7.png
[1623092-20190525171001343-2076521510.png]: /images/20211109/0a2ed223f44b469d996270ccf375eea2.png
[1623092-20190530093534992-423958297.png]: /images/20211109/a0bde7267fc948f1a3319857472c8da7.png
[1623092-20190530093649185-2040114658.png]: /images/20211109/7bd2f1cf5ee3405ea324646416c3c593.png
[1623092-20190528220028910-839384029.png]: /images/20211109/06c6fcebc89540ffa58e52ebcc11c771.png