【重磅推荐】Scrapy爬虫框架出现Forbidden by robots.txt（scrapy默认是不爬虫设置了robots.txt文件的,所以要配置一下）

女爷i 2021-09-18 03:22 179阅读 0赞

参考文章：[https://blog.csdn.net/zzk1995/article/details/51628205][https_blog.csdn.net_zzk1995_article_details_51628205]

### **方法一：设置ROBOTSTXT\_OBEY = False，这种不推荐(非万不得已）,强行爬虫容易封ip** ###

scrapy框架这个属性设置为False即可（默认为True）
    
    ROBOTSTXT_OBEY = False

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70][]

## ##

### **第二种方法就是不改变 ROBOTSTXT\_OBEY=True的默认值，而伪装平台支撑的爬虫（推荐这种方式）** ###

# Crawl responsibly by identifying yourself (and your website) on the user-agent
    你要爬虫那个网站，就伪装它支持的爬虫平台,如百度阅读支持百度的爬虫
    https://yuedu.baidu.com/robots.txt第一个User-agent: Baiduspider
    USER_AGENT = 'Baiduspider'
    
    # Obey robots.txt rules(默认是禁止爬虫设置了robots.txt文件的网站)
    ROBOTSTXT_OBEY = True

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70 1][]

[https_blog.csdn.net_zzk1995_article_details_51628205]: https://blog.csdn.net/zzk1995/article/details/51628205
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70]: /images/20210812/1e980c948dcf42ceab221dc51dbb9a65.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70 1]: /images/20210812/c5c48c622bc34a42b670006a54bc4004.png