分布式爬虫与增量式爬虫

墨蓝 2023-08-17 16:35 155阅读 0赞

首先要说一下scrapy-redis

配置文件settings主要配置Scrapy\_Redis的功能，其中配置SCHEDULER是改变Scrapy原有的调度器。当项目运行的时候，Scrapy从配置文件中读取配置信息，根据配置信息运行Scrapy\_Redis的功能，使得整个项目的调度器Scheduler和Spider都是Scrapy\_Redis定义的，从而实现了分布式爬虫

从Scrapy\_Redis的分布式爬虫原理得知，当前请求的URL地址和响应内容都已经保存在Redis数据库的时候，Scrapy不再对当前请求发送HTTP请求，而是直接执行下面一条请求，这样可以防止分布式的爬虫程序重复爬取，从而保证了数据的唯一性

根据分布式爬虫的原理可以衍生出一种新的使用方式--增量式爬虫。增量式爬虫是在已经保存网站部分数据的情况下，当再次运行爬虫的时候，它不会对应有的数据重复爬取，只爬取数据库中尚未保存的数据，分布式爬虫Scrapy\_Redis也可以作为增量式爬虫，此外还可以在Scrapy项目里自主开发增量式爬虫，，实现的方式和Scrapy\_Redis的大差不差

自主开发增量式爬虫的两种方式：基于管道实现增量式爬虫和中间件实现增量式。两个在Scrapy的不同文件中实现

基于管道实现增量式爬虫是在pipelineswenjian的process\_ite()方法内判断数据是否已经保存在redis数据库中，如果存在则不做数据库入库处理，反之就将当前数据写入到Redis数据库和目标数据库中

基于中间件实现增量式爬虫，是在middlewares文件中定义中间件，判断当前请求的URL地址是否已经存在在Redis数据库中，如果存在就跳过当前请求并且直接执行下一个请求，反之就讲当前的URL地址写入Redis数据库并对该请求向下执行

## 基于管道实现增量式爬虫 ##

基于管道实现是将Scrapy\_Redis的pipelines单独使用，它最大的有点是对以访问的URL地址重复访问并且获得数据，这样可以及时更新数据的动态变化

应用场景：

排行榜、论坛贴吧等网站的爬取；

缺点：

它会对URL地址重复的访问，如果网站数据固定不变就会造成网络资源的浪费，同时也增大了反爬虫机制检测的风险

实现管道增量式爬虫可以使用Scrapy\_Redis的pipelines文件的RedisPipeline类，不过他会涉及到Scrapy\_Redis其他文件的使用。为了简化功能的复杂度，可以根据原理在项目的pipelines文件编写相对应的功能就可以了，

## 基于中间件实现增量式爬虫 ##

基于中间件实现增量式爬虫是在发送HTTP请求之前，首先要对该请求的URL地址进行判断，如果该URL地址在此之前已经发送过HTTP请求，则本次请求将不再往下执行了，这样可以避免同一个URL地址的重复访问。因此自定义中间件主要对当前请求的URL地址进行判断，根据不同的判断结果执行不同的处理方式