scrapy代理的配置方法

向右看齐 2022-05-22 03:11 197阅读 0赞

根据最新的scrapy官方文档,scrapy爬虫框架的代理配置有以下两种方法:

### 一.使用中间件DownloaderMiddleware进行配置 ###

使用Scrapy默认方法scrapy startproject创建项目后项目目录结构如下,spider中的crawler是已经写好的爬虫程序:   
![目录结构][SouthEast]   
settings.py文件其中的DOWNLOADER\_MIDDLEWARES用于配置scrapy的中间件.我们可以在这里进行自己爬虫中间键的配置,配置后如下:

DOWNLOADER_MIDDLEWARES = {
        'WandoujiaCrawler.middlewares.ProxyMiddleware': 100,
    }

其中WandoujiaCrawler是我们的项目名称,后面的数字代表中间件执行的优先级,官方文档中默认proxy中间件的优先级编号是750,我们的中间件优先级要高于默认的proxy中间键.中间件middlewares.py的写法如下(scrapy默认会在这个文件中写好一个中间件的模板,不用管它写在后面即可):

# -*- coding: utf-8 -*-
    class ProxyMiddleware(object):
        def process_request(self, request, spider):
            request.meta['proxy'] = "http://proxy.yourproxy:8001"

这里有两个问题:   
一是proxy一定是要写号http://前缀的否则会出现to\_bytes must receive a unicode, str or bytes object, got NoneType的错误.   
二是官方文档中写到process\_request方法一定要返回request对象,response对象或None的一种,但是其实写的时候不用return,乱写可能会报错.   
另外如果代理有用户名密码等就需要在后面再加上一些内容:

# Use the following lines if your proxy requires authentication
    proxy_user_pass = "USERNAME:PASSWORD"
    # setup basic authentication for the proxy
    encoded_user_pass = base64.encodestring(proxy_user_pass)
    request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

此处配置参考:

> [http://www.pythontab.com/html/2014/pythonweb\_0326/724.html][http_www.pythontab.com_html_2014_pythonweb_0326_724.html]

### 二.直接在爬虫程序中设置proxy字段 ###

我们可以直接在自己具体的爬虫程序中设置proxy字段,代码如下,直接在构造Request里面加上meta字段即可:

class QuotesSpider(scrapy.Spider):
        name = "quotes"
        def start_requests(self):
            urls = [
                'http://quotes.toscrape.com/page/1/',
                'http://quotes.toscrape.com/page/2/',
            ]
            for url in urls:
                yield scrapy.Request(url=url, callback=self.parse, meta={
       'proxy': 'http://proxy.yourproxy:8001'})
    
        def parse(self, response):
            for quote in response.css('div.quote'):
                yield {
                    'text': quote.css('span.text::text').extract_first(),
                    'author': quote.css('span small::text').extract_first(),
                    'tags': quote.css('div.tags a.tag::text').extract(),
                }

[SouthEast]: /images/20220522/62cafc2e8580491c8c77eb4db46a5f6b.png
[http_www.pythontab.com_html_2014_pythonweb_0326_724.html]: http://www.pythontab.com/html/2014/pythonweb_0326/724.html