scrapy下载中间设置

淡淡的烟草味﹌ 2022-05-23 03:57 207阅读 0赞

class ProxyMiddleWare(object):  
        """docstring for ProxyMiddleWare"""  
        def process_request(self,request, spider):  
            '''对request对象加上proxy'''  
            proxy = self.get_random_proxy()  
            print("this is request ip:"+proxy)  
            request.meta['proxy'] = proxy   
    
    
        def process_response(self, request, response, spider):  
            '''对返回的response处理'''  
            # 如果返回的response状态不是200，重新生成当前request对象 
            if response.status != 200:  
                proxy = self.get_random_proxy()  
                print("this is response ip:"+proxy)  
                # 对当前reque加上代理 
                request.meta['proxy'] = proxy   
                return request  
            return response  
    
        def get_random_proxy(self):  
            '''随机从文件中读取proxy'''  
            while 1:  
                with open('G:\\Scrapy_work\\myproxies\\myproxies\\proxies.txt', 'r') as f:  
                    proxies = f.readlines()  
                if proxies:  
                    break  
                else:  
                    time.sleep(1)  
            proxy = random.choice(proxies).strip()  
            return proxy

发表评论取消回复

表情：

评论列表（有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

相关 scrapy对接selenium（下载中间件的使用）及 pyppetter对接方法集合

from scrapy import signals import pyppeteer import asyncio import os

怼烎@/ 2022年12月12日 13:45/ 0 赞/ 261 阅读

相关亲身经历——下载Scrapy

下载Scrapy Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页

た入场券/ 2022年12月01日 05:10/ 0 赞/ 186 阅读

相关 scrapy框架——下载器中间件(Downloader Middlewares)

一、什么是下载器中间件？简单来说，下载器中间件就是引擎和下载器之间通信的中间件。主要目的用来更换请求头、设置代理IP来达到应对网站反爬的情况。

Love The Way You Lie/ 2022年09月14日 01:54/ 0 赞/ 178 阅读

相关 Scrapy框架(八)下载中间件(Downloader Middlewares)的使用

（1）前言先祭出框架图： ![70][] 下载中间件（Downloader Middlewares）位于scrapy引擎和下载器之间的一层组件。作用：

Myth丶恋晨/ 2022年05月27日 10:14/ 0 赞/ 182 阅读

相关 scrapy下载中间设置

class ProxyMiddleWare(object): """docstring for ProxyMiddleWare"""

淡淡的烟草味﹌/ 2022年05月23日 03:57/ 0 赞/ 208 阅读

相关 Python 爬虫，scrapy，Downloader Middleware，下载中间件

下载中间件可以在发送请求前对request对象进行处理(添加请求头，代理IP等)；也可以在返回响应前对response、request对象进行处理等。项目名/midd

缺乏、安全感/ 2022年03月25日 08:20/ 0 赞/ 232 阅读

相关 Scrapy中Download Middleware（下载器中间件）用法

下载器中间件是介于Scrapy的request/response处理的钩子框架。是用于全局修改Scrapy request和response的一个轻量、底层的系统。 Do

曾经终败给现在/ 2022年02月27日 07:06/ 0 赞/ 262 阅读

相关 Scrapy--下载器中间件(Downloader Middleware)

目录下载器中间件简介自定义下载器中间件 RandomUserAgentMiddleware RandomProxyMiddleware 激活下载器中间件内置下

秒速五厘米/ 2022年02月14日 02:49/ 0 赞/ 344 阅读

相关爬虫 scrapy图片下载

彼岸网图片下载 img.py -- coding: utf-8 -- import scrapy from imgPro.items

﹏ヽ暗。殇╰゛Y/ 2021年11月01日 02:54/ 0 赞/ 446 阅读

相关使用scrapy下载图片

图片网站的选择 http://lab.scrapyd.cn/archives/55.html 分析网站使用开发者工具进行分析网站作者使

╰+攻爆jí腚メ/ 2021年09月23日 07:16/ 0 赞/ 469 阅读