scrapy 使用pipelines 保存数据

妖狐艹你老母 2022-05-30 02:58 286阅读 0赞

scrapy 当爬虫获取到数据之后，如果你定义了items，并且settings 里面 启用了pipelines 那么你就可以在pipelines 里面 编写 连接数据库，插入数据的代码，你自己无需调用pipelines 里面的代码，是scrapy 框架自动去调用的

例如：我的items 里面 定义了如下的代码  
![items][]

> 然后我的爬虫代码如下

# 这里面写爬虫的逻辑
    import scrapy
    from scrapy.http import Request
    from myScrapy.items import MyscrapyItem
    
    
    class ImageSpider(scrapy.Spider):
        """
        scrapy 爬虫必须继承自 scrapy.Spider 然后实现它的parse方法
        """
        # name 也是必须有的这个就是项目名称, name是唯一的 不可重复
        name = 'image_helper'
        # 定义抓取的主机
        allowed_domains = ["www.xxx.com"]
        # 定义抓取的url 列表
        start_urls = [
            "https://www.xxx.com/htm/piclist1/"
        ]
    
        def parse(self, response):
            """
            该方法是重写scrapy 的方法
            我们定义了url 之后, 就不需要去请求该url了 scrapy 会帮我们请求我们只需要定义某些方法接收response 这个response 就是
            scrapy 请求所返回的数据
            :param response:
            :return:
            """
            print("请求数据已经返回")
            # 获取页面所有的url
            urls = response.xpath('//div[@class="mainArea"]/ul/li/a/@href').extract()
            for url in urls:
                full_link = response.urljoin(url)
                yield Request(full_link, self.parse_detail)
    
            next_page = response.xpath('//div[@class="pageList"]/a[11]/@href').extract()[0]
            yield Request(response.urljoin(next_page), self.parse)
    
        def parse_detail(self, response):
            """
    
            :param response:
            :return:
            """
            items = MyscrapyItem()
            name = response.xpath('//div[@class="picContent"]/text()').extract()[0]
            image_url = response.xpath('//div[@class="picContent"]/img/@src').extract()
            items['name'] = name
            items['url'] = response.url
            items['total_images'] = len(image_url)
            for url in image_url:
                items['image_url'] = url
                yield items

当我们获取到数据之后，保存到items 中，然后将数据 yield 此时我们已经获取到了数据

> 接下来就该修改settings 里面的配置，启用pipelines 在里面加上配置

![setting][]

ITEM_PIPELINES = {
    ProjectName.pipelines.className # 项目名称.pipelines文件名.类名
    
    }

> pipelines.py 里面在process\_items 方法里面写插入数据

class MyscrapyPipeline(object):
        def process_item(self, item, spider):
            # self.create_table()
            data = {
       "name": item['name'], 'url': item['url'],
                    'total_images': item['total_images'], 'image_url': item['image_url']}
            self.insert(**data)
            return item
    
        @staticmethod
        def conn():
            """
            获取sqlite 链接
            :return:conn object
            """
            conn = sqlite3.connect('resources.db')
            return conn
    
        def insert(self, **kwargs):
            """
            :param **kwargs
                    {"name": name, "url": url}
            :return:None
            """
            conn = self.conn()
            cursor = conn.cursor()
            name = kwargs['name']
            url = kwargs['url']
            total_images = kwargs['total_images']
            image_url = kwargs['image_url']
            sql = "insert into main.resources(name, url, total_images, image_url) VALUES ('%s', '%s', '%s', '%s');" \
                  % (name, url, total_images, image_url)
            cursor.execute(sql)
            conn.commit()

这个pipelines.py文件我们不需要调用它，在settings.py里面启用它就可以了。scrapy 会自动调用,但是我们要在process\_item 方法里面写 插入数据的逻辑

[items]: /images/20220530/716b39a72f0f475bb6a059d426c96504.png
[setting]: /images/20220530/55b165d537a749b49178259b7d4914a6.png