scrapy_redis中的settings

爱被打了一巴掌 2023-01-01 02:45 110阅读 0赞

### settings中其他配置 ###

DOWNLOAD_DELAY = 5
    # The download delay setting will honor only one of:
    
    # 指定使用scrapy-redis的调度器
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    
    # 指定使用scrapy-redis的去重
    DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
    # 指定排序爬取地址时使用的队列，
    # 默认的 按优先级排序(Scrapy默认)，由sorted set实现的一种非FIFO、LIFO方式。
    SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
    # 可选的 按先进先出排序（FIFO）
    # SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderQueue'
    # 可选的 按后进先出排序（LIFO）
    # SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderStack'
    # 在redis中保持scrapy-redis用到的各个队列，从而允许暂停和暂停后恢复，也就是不清理redis queues
    SCHEDULER_PERSIST = True
    # 只在使用SpiderQueue或者SpiderStack是有效的参数，指定爬虫关闭的最大间隔时间
    # SCHEDULER_IDLE_BEFORE_CLOSE = 10
    
    # 通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中，供后面的分布式处理item
    # 这个已经由 scrapy-redis 实现，不需要我们写代码
    ITEM_PIPELINES = { 
        #'distribute_country_tecah.pipelines.DistributeCountryPipeline':300,
        'scrapy_redis.pipelines.RedisPipeline': 400
    }
    
    # 指定redis数据库的连接参数
    # REDIS_PASS是我自己加上的redis连接密码（默认不做）
    REDIS_HOST = '127.0.0.1'
    REDIS_PORT = 6379
    #REDIS_PASS = 'redisP@ssw0rd'
    
    # LOG等级
    LOG_LEVEL = 'DEBUG'
    
    #默认情况下,RFPDupeFilter只记录第一个重复请求。将DUPEFILTER_DEBUG设置为True会记录所有重复的请求。
    DUPEFILTER_DEBUG =True

发表评论取消回复

表情：

评论列表（有 0 条评论，110人围观）

还没有评论，来说两句吧...

相关阅读

相关 scrapy_redis中的settings

settings中其他配置 DOWNLOAD_DELAY = 5 The download delay setting will honor only

爱被打了一巴掌/ 2023年01月01日 02:45/ 0 赞/ 111 阅读

相关 Scala中的set集合

\ Scala Set(集合)是没有重复的对象集合，所有的元素都是唯一的。 \ 无序性和不重复性，无序性决定set 集合是通过 hash 方法去查找元素，所以

小咪咪/ 2022年11月13日 04:09/ 0 赞/ 156 阅读

相关 oracle的set调控,ORACLE中常见SET指令

1SET TIMING ON 说明：显示SQL语句的运行时间。默认值为OFF。在SQLPLUS中使用，时间精确到0.01秒。也就是10毫秒。在PL/SQL DEVEL

客官°小女子只卖身不卖艺/ 2022年10月21日 14:59/ 0 赞/ 250 阅读

相关 python中的set类型

一. 定义 set是一个无序且不重复的元素集合 set和dict类似，是一组key的集合，但不存储value set有以下特性：由于key不能重复，所有set中

冷不防/ 2022年10月12日 01:26/ 0 赞/ 120 阅读

相关 Java中Set的使用

Set接口的元素不能重复，可以排序。子类： 1、Hashset 散列（输出有时有序，有时无序） 2、TreeSet 有序（输出有序） import jav

系统管理员/ 2022年07月16日 02:20/ 0 赞/ 164 阅读

相关 Django中的setting配置

1.配置静态文件 STATIC_URL = '/static/'为静态文件别名 STATIC_URL = '/static/' 静态文件地址拼接，后面

待我称王封你为后i/ 2022年05月28日 03:17/ 0 赞/ 165 阅读

相关 java中的Set接口

java中的Set接口 set是Collection的子接口； set接口容器类中的元素是没有顺序的,且不能重复； set容器类有HashSet，TreeSet等。

妖狐艹你老母/ 2022年04月06日 09:40/ 0 赞/ 256 阅读

相关 JavaScript中Set的使用

因为Set中存放的数据都是不会重复的数据，我们在编写JS代码的时候，因此我们可以利用Set来帮助我们更便捷地完成许多的事！ 1、JS中Set的定义： var set

朴灿烈づ我的快乐病毒、/ 2021年12月05日 14:41/ 0 赞/ 383 阅读

相关 es6中的Set

1.Set是什么 Set 是一种叫做集合的数据结构，并且 Set 本身是一种构造函数。举个例子：　　const s = new Set() 　　\[1, 2

拼搏现实的明天。/ 2021年10月26日 15:36/ 0 赞/ 354 阅读

相关 Vue中的this.$set

当你发现你给对象加了一个属性，在控制台能打印出来，但是却没有更新到视图上时，也许这个时候就需要用到this.$set（）这个方法了官方解释：向响应式对象中添加一个属性，并确

ゝ一纸荒年。/ 2021年07月26日 01:47/ 0 赞/ 398 阅读