python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化

小灰灰 2021-06-10 20:42 374阅读 0赞

### 从安装过程到可视化工具可查看数据信息，历时两天，昨天坐了一天的火车，今天早上才到的青岛–>放松心情 ###

前天说是要学习如何使用mongoDB的链接与安装。

到今天过去了将一天， 不过还是在函兮的唠叨下慢慢的安装好了，确实来之不易，一脸懵逼

> 安装环境： wind10 还是盗版的 磁盘分析：只有一个C盘，

--------------------

> 步骤：  
> 1 . 下载  
> [http://www.mongodb.org/downloads][http_www.mongodb.org_downloads]

这里下载了对应的msi文件，貌似.zip文件没有了

> 2 我默认把mongoDB安装到c盘下的目录：C:\\Program Files\\MongoDB\\Server\\3.4\\bin
> 
> 3 一开始是没有进行mongdb dbpath 和dblog的配置项，所以会出现 ：
> 
> # 由于目标计算机积极拒绝，无法连接 #

上述问题主要是mongdb没有配置好的原因

> 4 mongodb 目录文件的配置  
> cd : C:\\Program Files\\MongoDB\\Server\\3.4\\bin  
> 到该bin下  
> 输入：mongod.exe –dbpath=C:\\data\\db

这里的路径可以自由设置

> 5 再进行dblog的配置，  
> 也是在bin目录下：mongod.exe –dbpath=C:\\data\\log\\mongodb.log

--------------------

> 6 检查一下配置是否正常  
> 当然也是在bin下进行：mongo

配置成功的标志：  
![这里写图片描述][Center]

--------------------

> 7最后再把mongoDB添加到Windows Service里面  
> 同样也是cd到bin下：  
> 输入：cd D:\\mongodb\\bin目录下，执行  
> mongod.exe –dbpath=C:\\data\\db –logpath=c:data\\log\\log.txt –install –serviceName “MongoDB”

进行查看：  
![这里写图片描述][Center 1]

启动，关闭服务：  
![这里写图片描述][Center 2]

关闭服务：net stop mongodb

这里用的可视化工具：对比了下：

> **MongoChef**

觉着这个应该挺不错的，虽然现阶段我只会一个查看数据的操作：  
![这里写图片描述][SouthEast]

以上就是mongodb的简单配置，在python3中代码可见的部分：

基础存储部分：

#encoding=utf8
    import requests
    import re
    # 导入mongo 数据库
    import pymongo
    
    import json
    
    # 打开数据库连接，mongodb默认端口为27017
    conn = pymongo.MongoClient(host='localhost',port=27017)
    # 选择或创建数据库
    toutiao = conn['toutiao']
    # 选择或者创建数据集合
    newsdata = toutiao['news']
    
    toutiaoUrl = 'http://www.toutiao.com/api/pc/focus/'
    reqData = requests.get(toutiaoUrl).text
    print(reqData)
    
    jsonData = json.loads(reqData)
    newsData = jsonData['data']['pc_feed_focus']
    
    # 存储到数据库
    for new in newsData:
        title = new['title']
        img_url = new['image_url']
        url = new['media_url']
        data = {
            'title':title,
            'img_url':img_url,
            'url':url
        }
        # 插入一行数据
        newsdata.insert_one(data)
    
    for i in newsdata.find():
        # 从数据库中读取出来
        print('i'+str(i))

以上的注释都清楚，以后用的mongodb更多功能再进行扩展。

这就是基本的mongodb数据存储，接下来要学习selenium 和 scraper进行数据爬取操作，加快脚步。

[http_www.mongodb.org_downloads]: http://www.mongodb.org/downloads
[Center]: /images/20210529/2d77823e63fa4f708ebd1a67a3426f57.png
[Center 1]: /images/20210529/62906a6de69641e78b71ccd2177059e8.png
[Center 2]: /images/20210529/1f4d95ed2063400ca6fc12f2e51504ca.png
[SouthEast]: /images/20210529/bcafde136fd8426a89e7721c6fe0b48b.png