Scrapy 问题锦集（后边继续更新)

川长思鸟来 2022-05-15 04:05 210阅读 0赞

1.这个问题要么换3.6要么改源码

> File “c:\\users\\administrator.user-20160420ae\\appdata\\local\\programs\\python\\pyt  
> hon37-32\\lib\\site-packages\\twisted\\conch\\[manhole.py][]”, line 154  
> def write(self, data, async=False):  
> ^  
> SyntaxError: invalid syntax

2.robots.txt:

> DEBUG: Forbidden by robots.txt:

这个文件中规定了本站点允许的爬虫机器爬取的范围，因为默认scrapy遵守robot协议，所以会先请求这个文件查看自己的权限，出错是因为使用的爬虫爬取内容违背这个robot.txt。所以只要让爬虫不遵守该协议就好了，具体做法是找到settings文件里的ROBOTSTXT\_OBEY设置成False。  
\# Obey robots.txt rules  
ROBOTSTXT\_OBEY = False

3.xpath的text()和extract()

> extract()这个是获取到标签的所有信息  
> text()则是将该标签的的值获取到，也就是>这里的值<

4.403解决,settings下面用这个就行

> USER\_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10\_8\_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5’

5.json.loads和jumps的区别

> json.dumps : dict转成str  
> json.loads:str转成dict

6.scrapy 打印页面出现编码不正确

print(html.decode('utf-8', 'ignore')) #这样子是py3默认utf8 打印 不用utf-8打印就行

1.  xpath 如何去掉换行和空格

normalize-space(//*[@class="entry-meta-hide-on-mobile"]/text())
    translate():替换字符，产生新的字符串

8.Unknown command: crawl

> 这个是没有进到项目根目录

[manhole.py]: http://manhole.py

发表评论取消回复

表情：

评论列表（有 0 条评论，210人围观）

还没有评论，来说两句吧...

相关阅读

相关个人问题解决资料锦集

Azure挂载数据盘，前提是以及加了数据盘 [Azure: 给 ubuntu 虚机挂载数据盘][Azure_ _ ubuntu] [MongoDB更换默认存储位置][M

柔情只为你懂/ 2023年05月31日 02:47/ 0 赞/ 7 阅读

相关开发人员常用工具最全锦集(持续更新)

![image-20201118190731900][] 文章目录 PC工具 JetBrains全家桶

「爱情、让人受尽委屈。」/ 2022年12月22日 08:48/ 0 赞/ 592 阅读

相关前端面试锦集

> 基本面试： > 做过最满意的项目是什么？项目背景？为什么要做这件事情？最终达到什么效果？你处于什么样的角色，起到了什么方面的作用？在项目中遇到什么技术问题？具体是如何解

约定不等于承诺〃/ 2022年12月02日 13:57/ 0 赞/ 190 阅读

相关前端问题锦集

1.get http://172.28.15.187:8080/sockjs-node/info?t=1631163185130 net::err\_connect >

迈不过友情╰/ 2022年09月10日 14:29/ 0 赞/ 189 阅读

相关 KVM问题锦集及解决方法

一、glfs\_discard\_async 今天将笔记本从CentOS6.5换到Fedora20, 运行qemu-kvm和qemu-img时报出下面这个错误.

布满荆棘的人生/ 2022年08月14日 03:55/ 0 赞/ 135 阅读

相关 iOS 错误锦集

从今天开始，我打算把自己所有遇到的错误，无论大大小小，都保存下来，以供自己反思，少点粗心才能提高效率 1、This application i

绝地灬酷狼/ 2022年06月03日 06:45/ 0 赞/ 652 阅读

相关小错误锦集

更新：2018年1月10日14:34:37 （1）String 字符串拼接 @Test public void funtest1() { Ob

╰+攻爆jí腚メ/ 2022年06月02日 09:58/ 0 赞/ 183 阅读

相关 Scrapy 问题锦集（后边继续更新)

1.这个问题要么换3.6要么改源码 > File “c:\\users\\administrator.user-20160420ae\\appdata\\local\\pro

川长思鸟来/ 2022年05月15日 04:05/ 0 赞/ 211 阅读

相关 springboot 遇到的问题锦集

springboot 学习问题 1. At least one JPA metamodel must be present! 参考一： https://www.

我会带着你远行/ 2022年05月09日 00:34/ 0 赞/ 281 阅读

相关前端面试锦集

前端面试锦集 1. 自我介绍： 2. List item.html常用的标签 Div,span,p,h1-h5,input,img,strong,a,hr

不念不忘少年蓝@/ 2022年02月05日 11:25/ 0 赞/ 404 阅读