如何编写分布式爬虫

灰太狼 2022-08-28 05:48 1阅读 0赞

## 一、更改父类为redis的类 ##

1、将爬虫的类从**scrapy.Spider**变成**scrapy\_redis.spiders.RedisSpider**；

2、或者是从**scrapy.CrawlSpider**变成**scrapy\_redis.spiders.RedisCrawlSpider**。

from scrapy_redis.spiders import  RedisCrawlSpider

**以Crawlspider为例：**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUHl0aG9u5LyK55S45Zut_size_20_color_FFFFFF_t_70_g_se_x_16][]

## 二、调整起始url ##

1.将爬虫中的start\_urls删掉。

2.增加一个redis\_key="xxx"。这个redis\_key是为了以后在redis中控制爬虫启动的。爬虫的第一个url，就是在redis中通过这个发送出去的。

**以Crawlspider为例：**

redis_key = "dytt:start_url"

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUHl0aG9u5LyK55S45Zut_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

##  三、调整配置文件 ##

# Scrapy-Redis相关配置
    # 利用scrapy_redis的调度确保request存储到redis中，起到中间商的作用
    # 【无需修改】
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    
    # 确保所有爬虫共享相同的去重指纹，保证所有数据去重使用
    # 【无需修改】
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    
    # 设置redis为item pipeline，不再使用scrapy自带的pipeline
    # 【无需修改】
    ITEM_PIPELINES = {
        'scrapy_redis.pipelines.RedisPipeline': 300
    }
    
    # 在redis中保持scrapy-redis用到的队列，不会清理redis中的队列，从而可以实现暂停和恢复的功能。
    # 【最好保持开启，无需修改】
    SCHEDULER_PERSIST = True
    
    # 设置连接redis信息:
    # REDIS_HOST：Redis服务器的ip，根据自己启动的redis服务器的ip【自行修改】
    # REDIS_PORT：Redis服务器的端口，默认6379 【不要修改，且无需修改】
    REDIS_HOST = '192.168.0.108'
    REDIS_PORT = 6379

## 四、启动分布式爬虫 ##

1.启动Redis服务器

redis-server.exe redis.windows.conf

2、启动scrapy-redis爬虫

进入爬虫文件所在的路径，然后输入命令：scrapy runspider \[爬虫名字\]。

举例：

scrapy runspider dytt2_.py

3.打开一个redis客户端，lpush起始url

redis-cli  
lpush \[redis\_key\] start\_url

举例：

# 启动redis客户端
    redis-cli
    
    # lpush起始url
    lpush dytt:start_url https://dytt8.net/html/gndy/dyzz/list_23_1.html

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUHl0aG9u5LyK55S45Zut_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/11efb2534a24462b8eda469b9abb8c23.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUHl0aG9u5LyK55S45Zut_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/1e7838aa40254c49ad66a6c037b759b2.png