Scrapy中Download Middleware（下载器中间件）用法

曾经终败给现在 2022-02-27 07:06 239阅读 0赞

下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统。  
Download Middleware在框架中的位置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70]  
下面用实例来演示Download Middleware的用法。  
我们新建一个项目，[目标就是常用的测试网址httpbin.org][httpbin.org]。  
在命令行中依次输入以下命令并用pycharm打开。

scrapy startproject httpbintest
    cd httpbintest
    scrapy genspider httpbin httpbin.org

接下来我们在parse方法中将response的文本打印出来，运行爬虫，可以在输出中看到“origin”中返回了我们的ip地址。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 1]  
现在我们将通过Download Middleware进行伪装，使用代理来隐藏我们真实的地址。  
我们先了解一下其中的`process_request(request, spider)`方法。

## process\_request ##

当每个request通过下载中间件时，该方法被调用。

`process_request()` 必须返回其中之一: 返回 `None` 、返回一个 `Response` 对象、返回一个 `Request` 对象或`raise IgnoreRequest` 。

如果其返回 `None` ，Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数(download handler)被调用， 该request被执行(其response被下载)。

如果其返回 `Response` 对象，Scrapy将不会调用 任何 其他的 `process_request()` 或 `process_exception()` 方法，或相应地下载函数； 其将返回该response。 已安装的中间件的 `process_response()` 方法则会在每个response返回时被调用。

如果其返回 `Request 对象`，Scrapy则停止调用 `process_request`方法并重新调度返回的request。当新返回的request被执行后， 相应地中间件链将会根据下载的response被调用。

如果其raise一个 `IgnoreRequest` 异常，则安装的下载中间件的 `process_exception()` 方法会被调用。如果没有任何一个方法处理该异常， 则request的`errback(Request.errback)`方法会被调用。如果没有代码处理抛出的异常， 则该异常被忽略且不记录(不同于其他异常那样)。

那么，我们在middleware.py中定义一个类：

class ProxyMiddleware(object):
    
        logger = logging.getLogger(__name__) #需要import logging
    
        def process_request(self,request,spider):
            self.logger.debug('Using Proxy')
            request.meta['proxy'] = 'http://127.0.0.1:9743' #这里需要使用有效的代理地址

然后在设置中开启：  
![在这里插入图片描述][20190326233326552.png]  
这样就可以改变“origin”中的值，完成了代理的功能  
上面的例子中，`process_request`返回的是None，这对spider没有影响，继续处理其他的东西。

## process\_response ##

`process_request()` 必须返回以下之一: 返回一个 Response 对象、 返回一个 Request 对象或raise一个 IgnoreRequest 异常。

如果其返回一个 **Response** (可以与传入的response相同，也可以是全新的对象)， 该response会被在链中的其他中间件的 `process_response()` 方法处理。

如果其返回一个 **Request** 对象，则中间件链停止， 返回的request会被重新调度下载。处理类似于 `process_request()` 返回request所做的那样。

如果其抛出一个 IgnoreRequest 异常，则调用request的`errback(Request.errback)`。 如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

> 我们接着上面的例子，尝试在中间过程对response进行一次改写，这里改写的是状态码

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 2]  
要记得在settings里面注册：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 3]  
在spider的parse里将状态码打印一下，看response是否发生了改变：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 4]  
运行爬虫：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 5]  
可以看到，我们在中间过程实现了对response的改写。

## process\_exception(request, exception, spider) ##

当下载处理器或 `process_request()` (下载中间件)抛出异常(包括 IgnoreRequest 异常)时， Scrapy调用 `process_exception()` 。

`process_exception()` 应该返回以下之一: 返回 None 、 一个 Response 对象、或者一个 Request 对象。

*  如果其返回 None ，Scrapy将会继续处理该异常，接着调用已安装的其他中间件的 process\_exception() 方法，直到所有中间件都被调用完毕，则调用默认的异常处理。
 *  如果其返回一个 Response 对象，则已安装的中间件链的 process\_response() 方法被调用。Scrapy将不会调用任何其他中间件的 process\_exception() 方法。
 *  如果其返回一个 Request 对象， 则返回的request将会被重新调用下载。这将停止中间件的 process\_exception() 方法执行，就如返回一个response的那样。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70]: /images/20220227/9f73ef5c4af9475fbafb9a30f9530aec.png
[httpbin.org]: http://xn--httpbin-eb9lh18ak6e2q0a17e1ztg4zfrekybb96e0c1c.org
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 1]: /images/20220227/8c4f24760065429b91c6232ba3649cf2.png
[20190326233326552.png]: /images/20220227/20de5cd297f0469b8533d220978508b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 2]: /images/20220227/41c0821951554790a21ba92c4e383d15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 3]: /images/20220227/9de2852ecaeb4defa149171b9aecda38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 4]: /images/20220227/40b2b2c85a414c0baa73a55e1696eced.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3MTQ0MDU0ODk_size_16_color_FFFFFF_t_70 5]: /images/20220227/66345346ef874923816a62743324b73c.png