scrapy框架爬取的数据写入mongo数据库

╰+哭是因爲堅強的太久メ 2023-08-17 16:25 129阅读 0赞

## 1、在pipeline中编写自定义的存储类 ##

存入mongo数据库的话，一般都是使用下面这个方法来定义类，

class MongoPipeline(object):
        collection_name = 'mao'  # collection名字，自己任取
    
        def __init__(self, mongo_uri, mongo_db, mongo_port):
            self.mongo_uri = mongo_uri
            self.mongo_db = mongo_db
            self.mongo_port = mongo_port
            self.client = None
            self.db = None
    
        @classmethod
        def from_crawler(cls, crawler):
            return cls(
                mongo_uri=crawler.settings.get('MONGO_URI'),
                mongo_db=crawler.settings.get('MONGO_DATABASE'),
                mongo_port=crawler.settings.get('MONGODB_PORT')
            )
    
        def open_spider(self, spider):
            self.client = pymongo.MongoClient(self.mongo_uri)
            self.db = self.client[self.mongo_db]
    
        def process_item(self, item, spider):
            self.db[self.collection_name].insert(dict(item))
            return item
    
        def close_spider(self, spider):
            self.client.close()

## 2、配置settings文件 ##

# 这两项的是自己加的
    MONGO_URI = '127.0.0.1'
    MONGO_DATABASE = 'Maoyan'
    
    # 这一项根据实际情况配置
    ITEM_PIPELINES = {
       'maoyan.pipelines.MongoPipeline': 300,
    }

## 3、踩到的一个坑 ##

就是自定义的类里面的方法`process_item`无法启动的问题。  
出错的原因：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70]  
这是出错的代码，看似一点问题都没有，但就是无法把数据存入数据库，根本原因是`在spiders中没有返回item`

解决问题之后的代码：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70 1]  
只在下面返回一个item即可

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70]: /images/20230810/c5509e75f7de4e4aba747f882b17b6ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjIxMzYy_size_16_color_FFFFFF_t_70 1]: /images/20230810/c1da0064bf25442f86adb7ecfed6d9e4.png