Python 爬虫，scrapy，Downloader Middleware，下载中间件

缺乏、安全感 2022-03-25 08:20 232阅读 0赞

下载中间件可以在发送请求前对request对象进行处理(添加请求头，代理IP等)；也可以在返回响应前对response、request对象进行处理等。

**项目名/middlewares.py（定义下载中间件）：**

# -*- coding: utf-8 -*-
    import random
    
    # 自定义的下载中间件
    class RandomUserAgentMiddleware:
        # 发送请求前调用 (方法名固定)
        def process_request(self, request, spider):   # spider表示发送请求的爬虫
            ua = random.choice(spider.settings.get("USER_AGENTS_LIST"))
            request.headers["User-Agent"] = ua  # 设置请求头
    
            proxy = random.choice(spider.settings.get("PROXIES"))
            request.meta['proxy'] = proxy   # 设置代理IP
            # 一般不需要返回
    
        # 返回响应前调用 (方法名固定)
        def process_response(self, request, response, spider):
            pass
            return response   # 一般需要返回响应，也可以返回request继续请求。
    
    
    # 可以定义多个下载中间件，可以在settings.py中配置中间件的执行顺序
    class CheckUserAgent:
        # 返回响应前调用 (方法名固定)
        def process_response(self, request, response, spider):
            print(request.headers["User-Agent"])
            return response

**项目名/settings.py（配置文件，配置下载中间件）：**

# 。。。
    
    # 配置下载中间件
    DOWNLOADER_MIDDLEWARES = {
       '项目名.middlewares.RandomUserAgentMiddleware': 543,   # 543表示权重(距离Scrapy引擎的远近，决定多个中间件执行顺序)
       '项目名.middlewares.CheckUserAgent': 544,
    }
    
    # User-Agent请求头列表
    USER_AGENTS_LIST = [
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
        "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5"
        ]
    
    # 代理IP列表
    PROXIES = [
        'http://111.8.60.9:8123', 
        'http://111.8.60.10:8123', 
        'http://111.8.60.11:8123',
        ]
    
    # 。。。