「Scrapy 爬虫框架」Spider中间件（Spider Middleware）详解

Dear 丶 2022-10-26 12:57 1065阅读 0赞

### 文章目录 ###

*  内容介绍
 *  激活蜘蛛中间件
 *  如何使用Spider中间件
 *  spider中间件流程
 *  内置Spider中间件参数参考

# 内容介绍 #

开发环境为 Python3.6，Scrapy 版本 2.4.x ，爬虫项目全部内容索引目录

[看懂Python爬虫框架，所见即所得一切皆有可能][Python]

本章带你学习基于 **Python3** 的 **Scrapy 爬虫框架** 中数据爬取过程中Spider中间件。是 Scrapy 的 Spider 处理机制的一个挂钩框架，用于在其中插入自定义功能，将发送到 Spider 的响应进行处理以及处理从 Spider 生成的请求和项目。

代码内容基于「Scrapy 爬虫框架」源码版本 2.4.0 ，更新内容会进行标记说明对应版本。

# 激活蜘蛛中间件 #

Spider中间件组件 **SPIDER\_MIDDLEWARES** 为字典格式，其键为中间件类路径，其值为中间件顺序。

下载器中间件组件 DOWNLOADER\_MIDDLEWARES 为字典格式，其键为中间件类路径，其值为中间件顺序。

# 禁用状态，需要注释掉才可以使用
    SPIDER_MIDDLEWARES = { 
        'myproject.middlewares.CustomSpiderMiddleware': 543,
        'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
    }

全部中间件设置设置说明

SPIDER_MIDDLEWARES_BASE = { 
        'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
        'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
        'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
        'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
        'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
    }

# 如何使用Spider中间件 #

class scrapy.spidermiddlewares.SpiderMiddleware
    """
    输入信息处理 process_spider_input
    每个进入spider中间件的响应，都会调用此方法进行处理。process_spider_input()应该返回None或提出异常。
    1. 如果返回None，Scrapy 将继续处理此响应，执行所有其他中间件，直到最后，响应被交给spider进行处理。
    2. 如果引发异常，Scrapy 将不会调用任何其他spider中间件的process_spider_input()，将调用请求 errback (如果有的话)，否则它将进入process_spider_exception()。
    参数： 
     - response - Responseobject 对象，正在处理的响应
     - spider - Spiderobject 对象，此响应所针对的spider
    　　
    
    输出信息处理 process_spider_output
    在处理完响应之后，使用Spider返回的结果调用此方法。process_spider_output()必须返回一个可迭代的 Request，dict或Item 对象。
    参数： 
     - response - Responseobject 对象，从spider生成此输出的响应
     - result - 可迭代的Request，dict或Item对象，spider返回的结果
     - spider - Spiderobject 对象，正在处理其结果的spider
    
    
    异常信息处理 process_spider_exception
    当spider或process_spider_output() 方法（来自先前的spider中间件）引发异常时，将调用此方法。process_spider_exception()应该返回一个None或一个可迭代的Request，dict或 Item对象。
    1. 如果它返回None，Scrapy将继续处理此异常，执行process_spider_exception()以下中间件组件中的任何其他组件，直到没有剩余中间件组件并且异常到达引擎（它被记录并丢弃）。
    2. 如果它返回一个iterable，那么process_spider_output()管道将从下一个spider中间件开始启动，并且不会process_spider_exception()调用其他任何一个 。
    参数： 
     - response - Responseobject 对象，引发异常时正在处理的响应
     - exception -  异常对象，引发异常
     - spider -  Spiderobject 对象，引发异常的spider
    
    
    请求起始处理 process_start_requests
    当 spider 运行到 start_requests() 的时候，爬虫中间件调用process_start_requests()方法，在start_requests参数中并且必须返回另一个可迭代的Request对象。
    参数： 
     - start_requests - 可迭代 Request 对象，开始请求
     - spider - Spiderobject对象，启动请求所属的spider
    
    
    爬虫任务 from_crawler
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mysql_host = crawler.settings.get('MYSQL_HOST'),
            mysql_db = crawler.settings.get('MYSQL_DB'),
            mysql_user = crawler.settings.get('MYSQL_USER'),
            mysql_pw = crawler.settings.get('MYSQL_PW')
        )

# spider中间件流程 #

1.spider开始start_requests()时，调用spider中间件的process_start_requests()。
    2.response成功后，返回spider回调函数parse，调用process_spider_input()。
    3.当spideryieldscrapy.Request()或者yielditem时，调用spider中间件的process_spider_output()方法。
    4.当spider出现了Exception时，调用spider中间件的process_spider_exception()方法。

# 内置Spider中间件参数参考 #

*  **1.DepthMiddleware**

# 用于跟踪要抓取的站点内每个请求的深度。
    class scrapy.spidermiddlewares.depth.DepthMiddleware
    
    # spider.py中的设置
    request.meta['depth'] = 0
    # DEPTH_LIMIT 任何网站将允许爬网的最大深度。如果为零，则不施加限制。
    # DEPTH_STATS_VERBOSE 是否收集每个深度的请求数。
    # DEPTH_PRIORITY -是否根据请求的深度确定请求的优先级。

*  **2.HttpErrorMiddleware**

# 筛选不进行处理的不成功的（错误的）HTTP响应。
    class scrapy.spidermiddlewares.httperror.HttpErrorMiddleware
    
    # spider.py中的设置
    class MySpider(CrawlSpider):
        handle_httpstatus_list = [404]
    
    HTTPERROR_ALLOWED_CODES = [] # 不处理的包含非200状态代码的所有响应。
    HTTPERROR_ALLOW_ALL = False # 传递所有响应，无论其状态码如何，默认Fasle

*  **3. OffsiteMiddleware**

# 过滤掉spider涵盖的域之外的URL请求。
    class scrapy.spidermiddlewares.offsite.OffsiteMiddleware
    
    # spider.py中的设置
    allowed_domains = ['http://xxxx.com'] # 只抓取该域名下内容

*  **4.RefererMiddleware**

# Referer根据生成请求的响应的URL填充请求标头。
    class scrapy.spidermiddlewares.referer.RefererMiddleware
    
    # spider.py中的设置
    REFERER_ENABLED = True # 是否启用引用中间件。
    REFERRER_POLICY = "scrapy-default"

<table> 
 <thead> 
  <tr> 
   <th>选项</th> 
   <th>使用的方法类</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>“scrapy-default” (default)</td> 
   <td>scrapy.spidermiddlewares.referer.DefaultReferrerPolicy</td> 
  </tr> 
  <tr> 
   <td>“no-referrer”</td> 
   <td>scrapy.spidermiddlewares.referer.NoReferrerPolicy</td> 
  </tr> 
  <tr> 
   <td>“no-referrer-when-downgrade”</td> 
   <td>scrapy.spidermiddlewares.referer.NoReferrerWhenDowngradePolicy</td> 
  </tr> 
  <tr> 
   <td>“same-origin”</td> 
   <td>scrapy.spidermiddlewares.referer.SameOriginPolicy</td> 
  </tr> 
  <tr> 
   <td>“origin”</td> 
   <td>scrapy.spidermiddlewares.referer.OriginPolicy</td> 
  </tr> 
  <tr> 
   <td>“strict-origin”</td> 
   <td>scrapy.spidermiddlewares.referer.StrictOriginPolicy</td> 
  </tr> 
  <tr> 
   <td>“origin-when-cross-origin”</td> 
   <td>scrapy.spidermiddlewares.referer.OriginWhenCrossOriginPolicy</td> 
  </tr> 
  <tr> 
   <td>“strict-origin-when-cross-origin”</td> 
   <td>scrapy.spidermiddlewares.referer.StrictOriginWhenCrossOriginPolicy</td> 
  </tr> 
  <tr> 
   <td>“unsafe-url”</td> 
   <td>scrapy.spidermiddlewares.referer.UnsafeUrlPolicy</td> 
  </tr> 
 </tbody> 
</table>

*  **5.UrlLength**

# 过滤出网址长度超过URLLENGTH_LIMIT的请求。
    class scrapy.spidermiddlewares.urllength.UrlLengthMiddleware
    
    # spider.py中的设置
    URLLENGTH_LIMIT = 200 # 允许抓取的URL的最大URL长度。

[Python]: https://blog.csdn.net/qq_20288327/article/details/120575605