「Scrapy 爬虫框架」输出文件（Feed exports）详解

小鱼儿 2022-10-25 14:16 269阅读 0赞

### 文章目录 ###

*  内容介绍
 *  序列化方式（serialization formats）
 *  数据存储（Storage ）

# 内容介绍 #

开发环境为 Python3.6，Scrapy 版本 2.4.x ，爬虫项目全部内容索引目录

[看懂Python爬虫框架，所见即所得一切皆有可能][Python]

本章带你学习基于 **Python3** 的 **Scrapy 爬虫框架** 中数据爬取过程中数据输出操作。生成一个带有爬取数据的“输出文件”（通常叫“输出 feed”），来供其它系统使用。

Scrapy 自带了 Feed 输出，并且支持多种序列化格式（serialization format）及存储方式（storage backends）。

如果抓取的内容都存储到数据仓库中本章节可以无视。

代码内容基于「Scrapy 爬虫框架」源码版本 2.4.0 ，更新内容会进行标记说明对应版本。

# 序列化方式（serialization formats） #

<table> 
 <thead> 
  <tr> 
   <th>数据类型</th> 
   <th>输出格式化</th> 
   <th>Item 类型输出</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>JSON</td> 
   <td>json</td> 
   <td>JsonItemExporter</td> 
  </tr> 
  <tr> 
   <td>JSON lines</td> 
   <td>jsonlines</td> 
   <td>JsonLinesItemExporter</td> 
  </tr> 
  <tr> 
   <td>CSV</td> 
   <td>csv</td> 
   <td>CsvItemExporter</td> 
  </tr> 
  <tr> 
   <td>XML</td> 
   <td>xml</td> 
   <td>XmlItemExporter</td> 
  </tr> 
  <tr> 
   <td>Pickle</td> 
   <td>pickle</td> 
   <td>PickleItemExporter</td> 
  </tr> 
  <tr> 
   <td>Marshal</td> 
   <td>marshal</td> 
   <td>MarshalItemExporter</td> 
  </tr> 
 </tbody> 
</table>

# 数据存储（Storage ） #

使用 feed 输出时可以通过使用 URL（通过 FEED\_URI 设置）来定义存储端。feed 输出支持 URI 方式支持的多种存储后端类型。

自带支持的存储后端有：本地文件系统、FTP、S3（需要 boto）、标注输出。

*  **1.存储URI参数（Storage URI parameters）**

# 存储 URI 也包含参数。当 feed 被创建时这些参数可以被覆盖
    
    # %(time)s - 当 feed 被创建时被 timestamp 覆盖
    # %(name)s - 被 spider 的名字覆盖
    
    # 其它命名的参数会被 spider 同名的属性所覆盖。
    # 例如，当 feed 被创建时，%(site_id)s 将会被 spider.site_id 属性所覆盖。
    
    # 存储在 FTP，每个 spider 一个目录
    ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json
    
    # 存储在 S3，每个 spider 一个目录
    s3://mybucket/scraping/feeds/%(name)s/%(time)s.json

*  **2.存储端（Storage backends）**

<table> 
 <thead> 
  <tr> 
   <th>存储类型</th> 
   <th>系统限制</th> 
   <th>URI scheme</th> 
   <th>依赖库</th> 
   <th align="left">样例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>本地文件系统</td> 
   <td>Unix</td> 
   <td>file</td> 
   <td>-</td> 
   <td align="left">file://tmp/export.csv</td> 
  </tr> 
  <tr> 
   <td>FTP</td> 
   <td>-</td> 
   <td>ftp</td> 
   <td>-</td> 
   <td align="left">tp://user:pass@ftp.example.com/path/to/export.csv</td> 
  </tr> 
  <tr> 
   <td>S3</td> 
   <td>-</td> 
   <td>s3</td> 
   <td>boto</td> 
   <td align="left">s3://aws_key:aws_secret@mybucket/path/to/export.csv</td> 
  </tr> 
  <tr> 
   <td>谷歌云存储(GCS)</td> 
   <td>-</td> 
   <td>gs</td> 
   <td>-</td> 
   <td align="left">gs://mybucket/path/to/export.csv</td> 
  </tr> 
  <tr> 
   <td>标准输出</td> 
   <td>-</td> 
   <td>stdout</td> 
   <td>-</td> 
   <td align="left">stdout:</td> 
  </tr> 
 </tbody> 
</table>

*  **3.设定（settings）**

- FEEDS(强制性)
    - FEED_EXPORT_ENCODING
    - FEED_STORE_EMPTY
    - FEED_EXPORT_FIELDS
    - FEED_EXPORT_INDENT
    - FEED_STORAGES
    - FEED_STORAGE_FTP_ACTIVE
    - FEED_STORAGE_S3_ACL
    - FEED_EXPORTERS
    - FEED_EXPORT_BATCH_ITEM_COUNT

*  **4.输出（FEEDS）**  
    默认输出字典格式。启用提要导出功能需要此设置。

{ 
        'items.json': { 
            'format': 'json',
            'encoding': 'utf8',
            'store_empty': False,
            'fields': None,
            'indent': 4,
            'item_export_kwargs': { 
               'export_empty_fields': True,
            },
        },
        '/home/user/documents/items.xml': { 
            'format': 'xml',
            'fields': ['name', 'price'],
            'encoding': 'latin1',
            'indent': 8,
        },
        pathlib.Path('items.csv'): { 
            'format': 'csv',
            'fields': ['price', 'name'],
        },
    }

主要参数列表：

<table> 
 <thead> 
  <tr> 
   <th>版本</th> 
   <th>参数名称</th> 
   <th align="left">参数说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-</td> 
   <td>format</td> 
   <td align="left">强制序列化值格式</td> 
  </tr> 
  <tr> 
   <td>-</td> 
   <td>batch_item_count</td> 
   <td align="left">FEED_EXPORT_BATCH_ITEM_COUNT</td> 
  </tr> 
  <tr> 
   <td>2.3.0</td> 
   <td>encoding</td> 
   <td align="left">FEED_EXPORT_ENCODING，设置json的编码格式</td> 
  </tr> 
  <tr> 
   <td>2.3.0</td> 
   <td>fields</td> 
   <td align="left">FEED_EXPORT_FIELDS，设置输出的字段</td> 
  </tr> 
  <tr> 
   <td>2.3.0</td> 
   <td>indent</td> 
   <td align="left">FEED_EXPORT_INDENT，设置缩进方式</td> 
  </tr> 
  <tr> 
   <td>2.3.0</td> 
   <td>item_export_kwargs</td> 
   <td align="left">dict的输出类别，</td> 
  </tr> 
  <tr> 
   <td>2.4.0</td> 
   <td>overwrite</td> 
   <td align="left">是否覆盖它(True)或附加到其内容(False)</td> 
  </tr> 
  <tr> 
   <td>2.4.0</td> 
   <td>store_empty</td> 
   <td align="left">FEED_STORE_EMPTY，是否导出空</td> 
  </tr> 
  <tr> 
   <td>2.4.0</td> 
   <td>uri_params</td> 
   <td align="left">FEED_URI_PARAMS，用于设置要应用的参数。</td> 
  </tr> 
 </tbody> 
</table>

# FEED_STORAGES_BASE 
    # 文件存储基础字典
    { 
        '': 'scrapy.extensions.feedexport.FileFeedStorage',
        'file': 'scrapy.extensions.feedexport.FileFeedStorage',
        'stdout': 'scrapy.extensions.feedexport.StdoutFeedStorage',
        's3': 'scrapy.extensions.feedexport.S3FeedStorage',
        'ftp': 'scrapy.extensions.feedexport.FTPFeedStorage',
    }

# FEED_EXPORTERS_BASE 
    # 文件输出基础字典
    { 
        'json': 'scrapy.exporters.JsonItemExporter',
        'jsonlines': 'scrapy.exporters.JsonLinesItemExporter',
        'jl': 'scrapy.exporters.JsonLinesItemExporter',
        'csv': 'scrapy.exporters.CsvItemExporter',
        'xml': 'scrapy.exporters.XmlItemExporter',
        'marshal': 'scrapy.exporters.MarshalItemExporter',
        'pickle': 'scrapy.exporters.PickleItemExporter',
    }

# FEED_EXPORT_BATCH_ITEM_COUNT、
    # Scrapy生成多个输出文件，存储到每个输出文件中指定的项目数。

[Python]: https://blog.csdn.net/qq_20288327/article/details/120575605