Scrapy之Request函数回调未执行解决方案

深碍√TFBOYSˉ_ 2022-05-24 09:17 151阅读 0赞

scrapy 执行Request函数时，回调函数未执行情况：

yield scrapy.Request(url=parse.urljoin(response.url, post\_url), headers=self.headers, callback=self.parse\_detail)

执行的时候发现parse\_detail未被调用，很大可能是被allowed\_domains给过滤掉了。查看scrapy的运行日志，可以查看**'offsite/filtered': 21**,被过滤了21个域名。

其实，这些日志信息都是由 scrapy 中的一个 middleware 抛出的，如果没有自定义，那么这个 middleware 就是默认的 `Offsite Spider Middleware`，它的目的就是过滤掉那些不在 `allowed_domains` 列表中的请求 requests。

再次查看手册中关于 `OffsiteMiddleware` 的部分([https://doc.scrapy.org/en/latest/topics/spider-middleware.html\#scrapy.spidermiddlewares.offsite.OffsiteMiddleware][https_doc.scrapy.org_en_latest_topics_spider-middleware.html_scrapy.spidermiddlewares.offsite.OffsiteMiddleware])

这些日志信息都是由 scrapy 中的一个 middleware 抛出的，如果没有自定义，那么这个 middleware 就是默认的 `Offsite Spider Middleware`，它的目的就是过滤掉那些不在 `allowed_domains` 列表中的请求 requests。

再次查看手册中关于 `OffsiteMiddleware` 的部分([https://doc.scrapy.org/en/latest/topics/spider-middleware.html\#scrapy.spidermiddlewares.offsite.OffsiteMiddleware][https_doc.scrapy.org_en_latest_topics_spider-middleware.html_scrapy.spidermiddlewares.offsite.OffsiteMiddleware])

解决方案：

两种方法能够使 requests 不被过滤:   
1. 在 `allowed_domains` 中加入 url ；  
2. 在 scrapy.Request() 函数中将参数 `dont_filter=True` 设置为 True。

[https_doc.scrapy.org_en_latest_topics_spider-middleware.html_scrapy.spidermiddlewares.offsite.OffsiteMiddleware]: https://doc.scrapy.org/en/latest/topics/spider-middleware.html#scrapy.spidermiddlewares.offsite.OffsiteMiddleware

发表评论取消回复

表情：

评论列表（有 0 条评论，151人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy回调函数callback传递参数的方式

一、概述默认Scrapy callback只能接函数名，不能传参数，我如果想给callback传递多个参数呢？回调方法示例： yield Request(

我会带着你远行/ 2022年12月11日 06:29/ 0 赞/ 159 阅读

相关 Scrapy回调函数callback传递参数的方式

Scrapy回调函数回调方法示例： yield Request(url=self.base_url + 'QueryInfo', headers=self.r

怼烎@/ 2022年12月03日 05:24/ 0 赞/ 162 阅读

相关 Android之回调函数

[![72540bbb9ba96efe74aff1bdbd4bca15.png][]][72540bbb9ba96efe74aff1bdbd4bca15.png 1]

た入场券/ 2022年08月31日 07:09/ 0 赞/ 206 阅读

相关 python apply_async没有执行函数,未调用apply_async回调函数

![Image 1][] I am a newbie to python,i am have function that calculate feature for my d

我会带着你远行/ 2022年08月30日 06:23/ 0 赞/ 347 阅读

相关 Scrapy之Request函数回调未执行解决方案

scrapy 执行Request函数时，回调函数未执行情况： yield scrapy.Request(url=parse.urljoin(response.url,

深碍√TFBOYSˉ_/ 2022年05月24日 09:17/ 0 赞/ 152 阅读

相关 Scrapy之Request函数回调未执行解决方案

scrapy 执行Request函数时，回调函数未执行情况： yield scrapy.Request(url=parse.urljoin(response.url,

╰半夏微凉°/ 2022年05月24日 09:15/ 0 赞/ 185 阅读

相关 java之回调函数

今天面试碰到了让我写一个回调函数，由于之前听过，但是一直没写过，也没用过所以是一脸懵逼的，今天就来记录下java的回调函数吧，由易到难。案例一：

左手的ㄟ右手/ 2022年05月17日 06:37/ 0 赞/ 240 阅读

相关小程序request请求回调函数异步的解决办法

`小程序的wx.request` 方法的不支持 Promise，也就是说我们不能使用promise函数来使我们的请求与回调函数同步，这就带来了一些问题，比如我们在wx.req

Myth丶恋晨/ 2022年03月08日 13:24/ 0 赞/ 282 阅读

相关 Java之回调函数

回调函数涉及的3个函数登记回调函数回调函数响应回调函数简单的解释你到一个商店买东西，刚好你要的东西没有货，于是你在店员那里留下了你的电话。过了几天店

朱雀/ 2022年01月09日 10:09/ 0 赞/ 288 阅读

相关 scrapy - Request 中的回调函数不执行或者只执行一次

在 scrapy 的parse()函数中，用调度器回调request对象时： scrapy.Request(url, headers=self.header, cal

男娘i/ 2021年10月19日 23:32/ 1 赞/ 547 阅读