scrapy高阶技巧+++FilesPipeline和ImagesPipeline（文件下载）

不念不忘少年蓝@ 2023-07-10 14:23 4阅读 0赞

参考文章：

https://blog.csdn.net/qq_43537354/article/details/88360636
    https://doc.scrapy.org/en/1.3/topics/media-pipeline.html

FilesPipeline的工作流如下：

1.  在spider中爬取要下载的文件链接，将其放置于item中的file\_urls（注意这只是一个代名词就像数学中的x，他的值在配置项里面，可以自定义的）。
2.  spider将其返回并传送至pipeline。
3.  当FilesPipeline处理时，它会检测是否有file\_urls字段，如果有的话，会将url传送给scarpy调度器和下载器。
4.  下载完成之后，会将结果写入item的另一字段files，files包含了文件现在的本地路径（相对于配置FILE\_STORE的路径）、文件校验和checksum、文件的url

两个管道都实现了这些功能：

1.  避免重新下载最近下载的媒体
2.  指定存储介质的位置（文件系统目录）
3.  图像管道具有一些用于处理图像的额外功能：

*  将下载的图片转换为JPG格式和RGB模式，并生成图像缩略图；
 *  检查图像宽度/高度以确保它们符合最小约束（需要在settings中配置）；

在settings中，对图像管道进行配置：

ITEM_PIPELINES  =  { 'scrapy.pipelines.images.ImagesPipeline' ： 1 }
    IMAGES_STORE =  '/path/to/valid/dir'

对文件管道进行配置：

ITEM_PIPELINES  =  { 'scrapy.pipelines.files.FilesPipeline' ： 1 }
    FILES_STORE=  '/path/to/valid/dir'

**文件的和图片将使用url的sha-1散列值进行命名**，例如：

[http://www.example.com/image.jpg ][http_www.example.com_image.jpg]

对应

3afec3b4765f8f0a07b78f98c07b83f013567a0a

最后的文件名是： 3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg

**下载的图片将存储在以下路径**：

<IMAGES_STORE>/full/3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg

例子：

import scrapy
    class MyItem(scrapy.Item):
        # ... other item fields ...
        image_urls = scrapy.Field()
        images = scrapy.Field()
        file_urls = scrapy.Field()
        files = scrapy.Field()

自定义file\_urls的存储字段和结果信息字段名称，在配置文件做如下设置：

**1.For the Files Pipeline**

FILES_URLS_FIELD = 'field_name_for_your_files_urls'
        FILES_RESULT_FIELD = 'field_name_for_your_processed_files'

**2.For the Images Pipeline    **

IMAGES_URLS_FIELD = 'field_name_for_your_images_urls'
        IMAGES_RESULT_FIELD = 'field_name_for_your_processed_images'

还有一些附加功能：

文件寿命配置：

# 120 days of delay for files expiration
        FILES_EXPIRES = 120   （配置文件的寿命，这在连续生产环境将非常有用）
        # 图像到期延迟30天
        IMAGES_EXPIRES  =  30
        # 如果你使用的是自定义的：文件处理流水线（MYPIPELINE），那么使用如下配置：
        (MYPIPELINE)_FILES_EXPIRES = 180

缩略图配置项：

IMAGES_THUMBS = {
        'small': (50, 50),
        'big': (270, 270),
    }

Example ：

<IMAGES_STORE>/full/63bbfea82b8880ed33cdb762aa11fab722a90a24.jpg
    <IMAGES_STORE>/thumbs/small/63bbfea82b8880ed33cdb762aa11fab722a90a24.jpg
    <IMAGES_STORE>/thumbs/big/63bbfea82b8880ed33cdb762aa11fab722a90a24.jpg

过滤尺寸过大过小的图片：

IMAGES_MIN_HEIGHT = 110
    IMAGES_MIN_WIDTH = 110

自定义图像处理流水线（pipeline）的完整例子：

# Custom Images pipeline example：
    # https://doc.scrapy.org/en/1.3/topics/media-pipeline.html#custom-images-pipeline-example
     
    import scrapy
    from scrapy.pipelines.images import ImagesPipeline
    from scrapy.exceptions import DropItem
     
    class MyImagesPipeline(ImagesPipeline):
     
        def get_media_requests(self, item, info):
            for image_url in item['image_urls']:
                yield scrapy.Request(image_url)
     
        def item_completed(self, results, item, info):
            image_paths = [x['path'] for ok, x in results if ok]
            if not image_paths:
                raise DropItem("Item contains no images")
            item['image_paths'] = image_paths
            return item

[http_www.example.com_image.jpg]: http://www.example.com/image.jpg