scrapy提高爬取速度

ゝ一纸荒年。 2021-09-16 22:22 453阅读 0赞

scrapy在单机跑大量数据的时候，在对**settings**文件不进行设置的时候，scrapy的爬取速度很慢，再加上多个页面层级解析，往往导致上万的数据可能爬取要半个小时之久，这还不包括插入数据到数据库的操作。下面是我在实验中测试并且验证爬取速度大幅度提升，不过前提你要注意到你爬取的目标网站有没有反IP的可能。

#### settings文件设置以下参数： ####

DOWNLOAD_DELAY = 0
    
    CONCURRENT_REQUESTS = 100
    
    CONCURRENT_REQUESTS_PER_DOMAIN = 100
    
    CONCURRENT_REQUESTS_PER_IP = 100
    
    COOKIES_ENABLED = False

1.  降低下载延迟  
    `DOWNLOAD_DELAY = 0` 将下载延迟设置为0，同时加入随机`User-Agent`是所必要的，这个是一开始就要进行设置的
2.  多线程
    
        CONCURRENT_REQUESTS = 100
        CONCURRENT_REQUESTS_PER_DOMAIN = 100
        CONCURRENT_REQUESTS_PER_IP = 100
    
    scrapy框架是基于多线程`Twisted`，当然`scrapy`也是通过多线程进行数据请求的，并且支持多核`CPU`的并发，我们就可以通过设置并发请求数来提高爬取速度。
3.  禁止使用`Cookies`  
    `COOKIES_ENABLED = False`  
    大部分情况下静止使用`Cookies`可以防止被ban。  
    \--------------------------------------- 下面是个人信息 ------------------------------------------------

个人微信：hll643435675（备注：博客）

更多资源请访问：

[https://blog.csdn.net/xudailong\_blog/article/details/78762262][https_blog.csdn.net_xudailong_blog_article_details_78762262]

某课视频：

[https://xudailong.cc/2018/09/30/muke-courses/][https_xudailong.cc_2018_09_30_muke-courses]

更多资源请关注公众号（蛇崽网盘教程资源 ）：  
![在这里插入图片描述][20181106111014905.png]  
\--------------------------------------- 上面是个人信息 ------------------------------

[https_blog.csdn.net_xudailong_blog_article_details_78762262]: https://blog.csdn.net/xudailong_blog/article/details/78762262
[https_xudailong.cc_2018_09_30_muke-courses]: https://xudailong.cc/2018/09/30/muke-courses/
[20181106111014905.png]: /images/20210529/c82b1ceb050c46dca2f512ffc240ac82.png