Scrapy08：scrapy-deltafetch，让爬虫有了记忆

Myth丶恋晨 2023-10-11 18:32 4阅读 0赞

deltafetch，让爬虫有记忆

### 前言 ###

”我化作人鱼，只有七秒钟的记忆“。

很多时候，爬虫程序跑着跑着，因为网络故障或者程序异常就宕掉了。无奈之下只能重启重新爬取。为了避免这种每次重头再来的情况，我们都会利用mysql、redis、文本等方式，来记录一下爬取过的url。

这也提高了程序整体的复杂度。而scrapy提供了一个模块来解决了这个痛点，仅仅两行配置就解决了这个问题。

### 断点续爬 ###

在Scrapy系列的第一篇，我就写了一个爬虫常见断点续爬问题。

假如有1000个页面需要爬取，爬到第999个页面，进度条马上满格的时候，程序咯噔一下挂了，就差一个，但是还是没爬完啊，咋整？我选择重新启动程序，那么你说我怎么样才能直接从第999个开始爬取呢？

这里先讲讲我写的第一个爬虫：爬取10+个地市的poi信息。

17年实习，第一次开发爬虫，也不知道有高德poi接口啥的，于是就找了个网站来爬取poi信息。当时那个网站估计还在起步阶段，服务器带宽应该不高，访问速度是真的慢，而且动不动维护停站，所以我的程序也得跟着停止。如果每次启动都重新爬取，估计几年也爬不完，于是我想了个办法。

我先将所有地市下所有区县数据的条数（网站上有）先手动录入到数据库表中，每次重新启动爬虫程序的时候，先统计结果数据表中各个区县已经爬取的条数，与总条数进行对比。如果小于的话，说明还没有爬取完，然后通过**某区县已爬取条数 / 网站每页展示条数**计算出我已经爬取到此区县的页数，再通过余数定位到我爬到了此页面的第几个。通过这种方法，最后无丢失爬取了163w条数据。

换种思路，将爬取的url放到表中，重启程序开始爬取url的时候，先去判断url是否存在于数据表中，如果存在就不进行爬取，这样也能实现断点续爬。也是沿用了原始的url的去重的思路。

而今天，要讲的scrapy-deltafetch，完全不用考虑上面的这些问题！

### Scrapy-deltafetch ###

上面的两种思路有两个共同点：

1.  手动实现断点逻辑代码
2.  依赖外部存储/数据库

这样就加大了开发的工作量。所以我们这里就引入了scrapy-deltafecth模块，两行配置就可以完美解决上面的两个问题。

#### 原理 ####

deltch在Scrapy中是作为一个Spider中间件存在的。原理就是内置一个内嵌式KV数据库BerkeleyDB，在执行yield item的时候，将response.request加密作为key存储到内嵌式数据库中。

这样，每次爬取的时候，都会去内嵌数据库中判断这个url是否已存在，存在就不再爬取。

这时候就有人要说了，*这不还是用到了数据库吗？*

内嵌式数据库和数据库是有区别的：

1.  内嵌式数据库嵌入到了应用程序进程，同应用程序在相同的地址空间中运行，所以数据库操作不需要进程间的通讯
2.  嵌入数据库是一种具备了基本数据库特性的数据文件，提供了一套API去访问、管理一个数据库文件，采用程序方式直接驱动，而非引擎响应方式驱动

简言之，就是内嵌式数据库不会像MySQL这种数据库一样，有属于自己的后台服务，自己的执行引擎。

### 安装deltafetch ###

deltafetch在Windows和Linux环境下的安装方式不一样的，Linux下的安装比较复杂。

deltafech模块依赖于bsddb3模块，bsddb3又需要依赖BerkeleyDB。

#### Windows安装 ####

Win下的安装比较简单，不需要单独安装BerkeleyDB。直接使用pip安装bsddb3，如果安装失败，就去下载whl安装版单独安装。然后再安装scrapy-deltafetch即可。

具体方法就不做阐述了，主要讲讲Llinux下的安装。

#### Linux安装 ####

Linux下的安装比较麻烦一点，需要自己去oracle官网下载Berkeley DB，然后进行编译安装。

##### 1.下载安装Berkeley DB #####

亲测，不要下载Berkeley DD的v18版本，我使用的是6.2.23版本。

# ，18版本不行,18.1.40会安装失败，18低版本在安装bsddb3时会报错
    cd build_unix
    ../dist/configure --prefix=/usr/local/berkeleyDb
    make & make install

##### 2.安装bsddb3 #####

export BERKELEYDB_DIR=/usr/local/berkeleyDb
    export YES_I_HAVE_THE_RIGHT_TO_USE_THIS_BERKELEY_DB_VERSION=yes   
    pip3 install bsddb3

##### 3.安装scrapy-deltafetch #####

pip3 install  scrapy-deltafetch

### 使用scrapy-deltafetch ###

#### 1. 修改settings.py ####

在settings.py中，添加deltafetch中间件并激活。

SPIDER_MIDDLEWARES = { 
         'scrapy_deltafetch.DeltaFetch': 100 
       } 
    
    # 开启
    DELTAFETCH_ENABLED = True

这里要注意的点是，deltafetch是一个spider中间件，根据架构图，spider只有yield item到pipeline的时候才会触发，所以只有yield item才能让deltafetch生效。

#### 2.重置DeltaFetch ####

当我们第一次启动爬虫的时候，它会从头开始爬取，如果再次重启，那么爬取过的url则不会再重新爬取。那么我们需要在启动时添加参数，告诉爬虫我要重新爬取。

scrapy crawl name -a deltafetch_reset=1

#### 3.成功标志 ####

*如何判断deltafetch生效了呢*

在程序的根目录下的隐藏目录.scrapy中，找到deltafetch目录，里面会根据crawler\_name生成db文件，这个就是berlekeyDB的数据库文件，里面记录着已经爬取过的url信息。

![1f66a1c21ded608ecfb7bdcd59e3334b.jpeg][]

之前提到的的deltafetch\_reset=1参数，就是清空对应的db文件。

### demo ###

先不加参数启动爬虫，启动了两次程序，相同的url都进行了数据爬取。

![8d9facb828a471968b32d988d074be0d.gif][]

配置了deltefetch之后。第二次启动时，就会提示忽略已经爬取的url，不再进行爬取。

![f88dd4532026578645c21d0cd13aa863.jpeg][]

如果想要重新爬取之前爬取过的url，启动前添加deltafetch\_reset=1参数即可。

### 核心源码 ###

DeltaFetch类为核心代码。

def process_spider_output(self, response, result, spider):
        for r in result:
            if isinstance(r, Request):
                key = self._get_key(r)
                if key in self.db:
                    logger.info("Ignoring already visited: %s" % r)
                    if self.stats:
                        self.stats.inc_value('deltafetch/skipped', spider=spider)
                    continue
            elif isinstance(r, (BaseItem, dict)):
                key = self._get_key(response.request)
                self.db[key] = str(time.time())
                if self.stats:
                    self.stats.inc_value('deltafetch/stored', spider=spider)
            yield r

### 结语 ###

个人觉得deltafetch安装是比较容易遇到问题的，还是要多查阅一些资料。下一篇就是scrapy-splash，一个网页渲染的插件，可以替换selenium。

![感谢每一份关注][20210519233121183.png]

[1f66a1c21ded608ecfb7bdcd59e3334b.jpeg]: https://img-blog.csdnimg.cn/img_convert/1f66a1c21ded608ecfb7bdcd59e3334b.jpeg
[8d9facb828a471968b32d988d074be0d.gif]: https://img-blog.csdnimg.cn/img_convert/8d9facb828a471968b32d988d074be0d.gif
[f88dd4532026578645c21d0cd13aa863.jpeg]: https://img-blog.csdnimg.cn/img_convert/f88dd4532026578645c21d0cd13aa863.jpeg
[20210519233121183.png]: https://img-blog.csdnimg.cn/20210519233121183.png