Scrapy ImagesPipeline下载图片

系统管理员 2023-10-12 11:07 54阅读 0赞

### 一、 ImagesPipeline是啥 ###

ImagesPipeline是scrapy自带的类，用来处理图片(爬取时将图片下载到本地)。

### 二、ImagesPipeline优势： ###

1.  将下载图片转换成通用的jpg和rgb格式
2.  避免重复下载
3.  缩略图生成
4.  图片大小过滤
5.  异步下载

### 三、ImagesPipeline工作流程 ###

*  爬取一个item，将图片的urls放入image\_urls字段
 *  从spider返回的item，传递到item pipeline
 *  当item传递到imagepipeline，将调用scrapy 调度器和下载器完成image\_urls中的url的调度和下载。
 *  图片下载成功结束后，图片下载路径、url和校验和等信息会被填充到images字段中。

### 四、使用ImagesPipeline下载美女整页的图片 ###

(1) 网页分析

![d08f49fcbe2040998d0a895d75f4398f.png][]

**详情页的信息**

![93f69d836269425e8ec78bd36138ac8c.png][]

（2) 创建项目

>     scrapy startproject Uis
>         cd Uis
>         scrapy genspider -t crawl ai_img xx.com

(3) 修改setting.py文件

>     USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36"
>             ROBOTSTXT_OBEY = False
>             DOWNLOAD_DELAY = 1

（4） 编写spider的文件ai\_img.py

**首先 查看ImagesPipeline源文件**

![7587bf3b150d43fc87973cf03dfe4810.png][]

import scrapy
    from scrapy.linkextractors import LinkExtractor
    from scrapy.spiders import CrawlSpider, Rule
    
    from ..items import *
    
    
    class AiImgSpider(CrawlSpider):
        name = "ai_img"
        allowed_domains = ["netbian.com"]
        start_urls = ["http://www.netbian.com/mei/index.htm"]  # 起始url
    
        rules = (
            Rule(LinkExtractor(allow=r"^http://www.netbian.com/desk/(.*?)$"),  #详情页的路径
                 callback="parse_item", follow=False),)
    
        def parse_item(self, response):
            #创建item对象
            item =UisItem()
    
            # 图片url ->保存到管道中 是字符串类型
            url_=response.xpath('//div[@class="pic"]//p/a/img/@src').get()
    
            #图片名称
            title_=response.xpath('//h1/text()').get()
    
            # 注意：必须是列表的形式
            item['image_urls']=[url_]
            item['title_']=title_
    
            return item

(5) 编写item.py文件

class UisItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
    
        #默认字段image_urls,查看源码
        image_urls=scrapy.Field()
        title_=scrapy.Field()
        pass

（6）编写管道pipelines.py

首先 查看ImagesPipeline源文件

1) 默认保存的文件夹

![3fffbe31efbc43de9ac4ec2eb44c7ffe.png][]

2)获取Item对象

![5fbca62557454ccc93896d4947aa3877.png][]

# Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
    
    
    # useful for handling different item types with a single interface
    import hashlib
    
    from itemadapter import ItemAdapter
    from scrapy import Request
    from scrapy.pipelines.images import ImagesPipeline
    from scrapy.utils.python import to_bytes
    
    #继承ImagesPipeline
    class UisPipeline(ImagesPipeline):
    
        # 重写1：直接修改默认路径
        # def file_path(self, request, response=None, info=None, *, item=None):
        #     image_guid = hashlib.sha1(to_bytes(request.url)).hexdigest()
        #     # 修改默认文件夹路径
        #     return f"desk/{image_guid}.jpg"
    
    
        #重写2：需要修改文件夹和文件名
        def file_path(self, request, response=None, info=None, *, item=None):
            #获取item对象
            item_=request.meta.get('db')
            #获取图片名称
            image_guid = item_['title_'].replace(' ','').replace(',','')
            print(image_guid)
            # 修改默认文件夹路径
            return f"my/{image_guid}.jpg"
    
        # 重写-item对象的图片名称数据
        def get_media_requests(self, item, info):
            urls = ItemAdapter(item).get(self.images_urls_field, [])
            # 传递item对象
            return [Request(u, meta={'db':item}) for u in urls]

（7）设置settings.py ,开启图片管道

ITEM_PIPELINES = {
        #普通管道
       # "Uis.pipelines.UisPipeline": 300,
       # "scrapy.pipelines.images.ImagesPipeline": 301, #图片的管道开启
        "Uis.pipelines.UisPipeline": 302,  #自定义图片的管道开启
    }
    
    # 保存下载图片的路径
    IMAGES_STORE='./'

（8） 运行： scrapy crawl ia\_img

![f688d880ec31460e9e6f3893c917102b.png][]

（9）成果展示

![c85631691a214f14bd8ffa96db3958a0.png][]

![800e706176264e878c1228cd4a0ce4a6.png][]

[d08f49fcbe2040998d0a895d75f4398f.png]: https://img-blog.csdnimg.cn/d08f49fcbe2040998d0a895d75f4398f.png
[93f69d836269425e8ec78bd36138ac8c.png]: https://img-blog.csdnimg.cn/93f69d836269425e8ec78bd36138ac8c.png
[7587bf3b150d43fc87973cf03dfe4810.png]: https://img-blog.csdnimg.cn/7587bf3b150d43fc87973cf03dfe4810.png
[3fffbe31efbc43de9ac4ec2eb44c7ffe.png]: https://img-blog.csdnimg.cn/3fffbe31efbc43de9ac4ec2eb44c7ffe.png
[5fbca62557454ccc93896d4947aa3877.png]: https://img-blog.csdnimg.cn/5fbca62557454ccc93896d4947aa3877.png
[f688d880ec31460e9e6f3893c917102b.png]: https://img-blog.csdnimg.cn/f688d880ec31460e9e6f3893c917102b.png
[c85631691a214f14bd8ffa96db3958a0.png]: https://img-blog.csdnimg.cn/c85631691a214f14bd8ffa96db3958a0.png
[800e706176264e878c1228cd4a0ce4a6.png]: https://img-blog.csdnimg.cn/800e706176264e878c1228cd4a0ce4a6.png