scrapy爬取网页数据是返回[ ],或者说爬取不到数据的排查方法

亦凉 2021-12-12 23:13 2083阅读 2赞

可能的原因：  
1，ip封锁爬取  
2，xpath路径不对  
3，xpath路径出现font,tbody标签  
4，xpath路径不够明确  
5，robot协议  
6，请求头封锁

废话不多说，直接上图![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDg0MTMxMg_size_16_color_FFFFFF_t_70]  
1，在dos窗口，输入 scrapy shell [https://news.sina.com.cn/gov/xlxw/2019-07-12/doc-ihytcerm3070493.shtml][https_news.sina.com.cn_gov_xlxw_2019-07-12_doc-ihytcerm3070493.shtml] 回车 **（注意这里是你的网址）**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDg0MTMxMg_size_16_color_FFFFFF_t_70 1]  
2，观察上图1号位置，response的返回状态码是200（200~300间都可以），说明返回成功！执行2号位置的 view(response) 就可以进入你要爬取的网页了，**这说明了你要爬取的网页没有在IP上对你进行反爬**

http状态码200,300,404等是什么意思？可以参考以下网址  
[https://www.cnblogs.com/cjwxf/p/6186287.html][https_www.cnblogs.com_cjwxf_p_6186287.html]

3，3号位置我执行 response.xpath(’/html/body/div\[3\]/h1/text()’).extract()  
这里的xpath路径是我在网页源代码中copy来的，我要显示他的文本内容，它返回了一个空值，这告诉我copy的东西不一定是有用的，当然正常情况下是有用的，建议xpath路径自己写，不断测试，copy的xpath路径仅做内容可以爬取的检测

4，之前有碰到过在xpath路径中有font或者是tbody标签的，把它去掉改成 \*\*\*/\*\*\*,之后内容可以正常显示，说明scrapy识别不了这两个标签

5，4号位置的xpath路径是自己写的，观察你要爬取网页html结构，对要爬取的元素位置，最好把它的类名或者是id名写上，以保证路径的唯一性

6，如果在dos窗口中已经可以提取出要爬取的内容了，说明xpath路径正确，但是在编写的爬虫文件中，执行spider却不能爬取到结果，而在执行爬虫程序的dos窗口中，你仔细观察，发现有robot错误，response的返回编码是503之类的异常编码，那就需要你在setting.py中，  
把ROBOTSTXT\_OBEY = True改为 ROBOTSTXT\_OBEY = False。

7，请求头封锁：比如你执行scrapy shell [https://www.qiushibaike.com/][https_www.qiushibaike.com]  
这个网址在浏览器中可以打开，但是scrapy中不行，执行后出现下图连接错误![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDg0MTMxMg_size_16_color_FFFFFF_t_70 2]  
这是因为scrapy的默认请求头是：  
“User-Agent”:“Scrapy/1.1.2 (+http://scrapy.org)”  
被网站封锁了，所以你需要伪造一个网站的请求头去进入这个网站  
你执行  
scrapy shell [https://www.qiushibaike.com/][https_www.qiushibaike.com] \-s USER\_AGENT=‘Mozilla/5.0’  
神奇的发现，可以成功访问这个网站了，所以在编写爬虫文件时，记得伪造请求头

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDg0MTMxMg_size_16_color_FFFFFF_t_70]: /images/20211210/ffd3de8ba07d4a64878ec9d56fad8bf7.png
[https_news.sina.com.cn_gov_xlxw_2019-07-12_doc-ihytcerm3070493.shtml]: https://news.sina.com.cn/gov/xlxw/2019-07-12/doc-ihytcerm3070493.shtml
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDg0MTMxMg_size_16_color_FFFFFF_t_70 1]: /images/20211210/e78da7fcd8c5462184941119741eb5c4.png
[https_www.cnblogs.com_cjwxf_p_6186287.html]: https://www.cnblogs.com/cjwxf/p/6186287.html
[https_www.qiushibaike.com]: https://www.qiushibaike.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDg0MTMxMg_size_16_color_FFFFFF_t_70 2]: /images/20211210/9deade5d27c74f03bfd9d3c1c79aaa37.png