python的request返回400_python - scrapy.Request请求地址返回400,但是用单独request模块请求同样的url返回正常...

小咪咪 2022-10-28 00:52 141阅读 0赞

一 问题描述

用scrapy.Request()方法请求一个url地址，发现返回400错误，我检查了我不是被封ip，把请求链接直接copy到浏览器上，是可以正常显示结果的，单独用python的requests模块post请求同样的url地址，获得的是正常的返回，我就不明白了，是我scrapy.Request的里面格式错误了？

二 代码展示

scrapy的 spider文件，scrapy项目是用scrapy的命令行执行出来的，常规设置，其他不变

\# -\*- coding: utf-8 -\*-

import scrapy

class PileSpider(scrapy.Spider):

name = "pile"

allowed\_domains = \["www.evehicle.cn"\]

headers = \{

'Accept': 'application/json, text/javascript, \*/\*; q=0.01',

'Accept-Encoding': 'gzip, deflate',

'Accept-Language': 'zh-CN,zh;q=0.8',

'Connection': 'keep-alive',

'Content-Length': '11',

'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',

'Host': 'www.evehicle.cn',

'Origin': 'http://www.evehicle.cn',

'Referer': 'http://www.evehicle.cn/wp-content/themes/newsite/html/emap.html',

'User-Agent': 'Mozilla/5.0 (X11; Linux x86\_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',

'X-Requested-With': 'XMLHttpRequest',

\}

url\_all = 'http://www.evehicle.cn/wp-content/themes/newsite/tool/api.php?api=web/sites'

def start\_requests(self):

print('1')

yield scrapy.Request(url=self.url\_all, callback=self.parse\_all, headers=self.headers, method='POST')

def parse\_all(self, response):

print(response)

![92def0277045a8b718160c91b04239ae.png][]

三 错误反馈

![9a737f90438b59f82d25845436722324.png][]

如图，请求scrapy后台提示出现了400返回，请求链接错误，可是我是按照chrome工具中显示的头部请求信息填写的scrapy.Request()的请求。我就不知道错在哪里了。

相反，我单独用requests模块请求这个url，相同的头部就是返回正确的信息，没用http抱错。

requests.post(url=all\_url, headers=headers, timeout=5)

[92def0277045a8b718160c91b04239ae.png]: /images/20221024/1d100f171df041768958550d77f872be.png
[9a737f90438b59f82d25845436722324.png]: /images/20221024/b9179a48a05e484f823cf38d7ad7537f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关 http请求返回400错误

错误 http请求返回400错误详细错误 2022-09-20 20:18:04.770 23102-23145/com.example.electro

桃扇骨/ 2023年09月27日 11:09/ 0 赞/ 117 阅读

相关 python的request返回400_python - scrapy.Request请求地址返回400,但是用单独request模块请求同样的url返回正常...

一问题描述用scrapy.Request()方法请求一个url地址，发现返回400错误，我检查了我不是被封ip，把请求链接直接copy到浏览器上，是可以正常显示结果的，单

小咪咪/ 2022年10月28日 00:52/ 0 赞/ 142 阅读

相关 Python网络请求模块requests

Python网络请求模块requests -------------------- 背景介绍之前说了，公司有一个需求需要使用python实现。由于公司服

客官°小女子只卖身不卖艺/ 2022年09月24日 10:21/ 0 赞/ 219 阅读

相关 HTTP 400 错误 - 请求无效 (Bad request)

在ajax请求后台数据时有时会报 HTTP 400 错误 - 请求无效 (Bad request);出现这个请求无效报错说明请求没有进入到后台服务里；原因：1）前端提交数据

素颜马尾好姑娘i/ 2022年05月29日 07:47/ 0 赞/ 266 阅读

相关 Nginx 400 bad request

今天和设备联调的时候，设备请求一直提示 "POST /acs-invoker/acs/register HTTP/1.1" 400 173 "-" "-" 但是用p

不念不忘少年蓝@/ 2022年05月22日 10:20/ 0 赞/ 208 阅读

相关问题 37 ： ajax 请求400 bad request的问题

问题描述：在使用ssm来写前后端分离的demo时，出现的这个错误，前端提交一直出现这个状态,两个相关状态如下： 1. ajax 请求`400 bad request

朱雀/ 2021年12月11日 06:23/ 0 赞/ 266 阅读

相关 httpd 400 Bad Request

0. web请求服务返回400 服务器日志 /var/log/httpd/error\_log [Thu Aug 01 15:22:48.690943 2

Myth丶恋晨/ 2021年11月09日 14:06/ 0 赞/ 255 阅读

相关 Android之模拟网络请求返回http 502、400、401、402错误码

1 问题 app 网络框架协程没有做网络异常捕获处理，想本地测试网络接口，希望网络接口返回Http的错误码比如502、400、401、402

旧城等待，/ 2021年09月25日 06:34/ 0 赞/ 324 阅读

相关 Python3: http/https请求模块 - requests 模块

本文链接: [https://blog.csdn.net/xietansheng/article/details/115558046][https_blog.csdn.net_

深碍√TFBOYSˉ_/ 2021年09月21日 23:00/ 0 赞/ 626 阅读

相关跳转并将请求返回的data传递到请求返回的url中

决方法：模拟表单请求 1.动态生成表单form var form = $('<form></form>'); form.attr('action', data...

朱雀/ 2020年06月25日 09:14/ 0 赞/ 892 阅读