Scrapy爬虫（8）scrapy-splash的入门

深藏阁楼爱情的钟 2022-05-29 05:05 237阅读 0赞

## scrapy-splash的介绍 ##

在[前面的博客][Link 1]中，我们已经见识到了Scrapy的强大之处。但是，Scrapy也有其不足之处，即Scrapy没有JS engine, 因此它无法爬取JavaScript生成的动态网页，只能爬取静态网页，而在现代的网络世界中，大部分网页都会采用JavaScript来丰富网页的功能。所以，这无疑Scrapy的遗憾之处。  
  那么，我们还能愉快地使用Scrapy来爬取动态网页吗？有没有什么补充的办法呢？答案依然是yes!答案就是，使用[scrapy-splash模块][scrapy-splash]！  
  scrapy-splash模块主要使用了[Splash][]. 所谓的Splash, 就是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。Splash的特点如下：

*  并行处理多个网页
 *  得到HTML结果以及（或者）渲染成图片
 *  关掉加载图片或使用 Adblock Plus规则使得渲染速度更快
 *  使用JavaScript处理网页内容
 *  使用Lua脚本
 *  能在Splash-Jupyter Notebooks中开发Splash Lua scripts
 *  能够获得具体的HAR格式的渲染信息

## scrapy-splash的安装 ##

由于Splash的上述特点，使得Splash和Scrapy两者的兼容性较好，抓取效率较高。  
  听了上面的介绍，有没有对scrapy-splash很心动呢？下面就介绍如何安装scrapy-splash，步骤如下：  
  1. 安装[scrapy-splash模块][scrapy-splash]

pip3 install scrapy-splash

2. scrapy-splash使用的是Splash HTTP API， 所以需要一个splash instance，一般采用[docker][]运行splash，所以需要安装docker。不同系统的安装命令会不同，如笔者的CentOS7系统的安装方式为：

sudo yum install docker

安装完docker后，可以输入命令‘docker -v’来验证docker是否安装成功。

3. 开启docker服务，拉取splash镜像（pull the image）：

sudo service docker start
    sudo dock pull scrapinghub/splash

运行结果如下：

![pull the image][]

4. 开启容器（start the container）：

sudo docker run -p 8050:8050 scrapinghub/splash

此时Splash以运行在本地服务器的端口8050(http).在浏览器中输入’localhost:8050’， 页面如下：

![这里写图片描述][SouthEast]

在这个网页中我们能够运行Lua scripts，这对我们在scrapy-splash中使用Lua scripts是非常有帮助的。以上就是我们安装scrapy-splash的全部。

## scrapy-splash的实例 ##

在安装完scrapy-splash之后，不趁机介绍一个实例，实在是说不过去的，我们将在此介绍一个简单的实例，那就是利用百度查询手机号码信息。比如，我们在百度输入框中输入手机号码‘159\*\*\*\*\*\*\*\*’，然后查询，得到如下信息：

![这里写图片描述][SouthEast 1]

我们将利用scrapy-splash模拟以上操作并获取手机号码信息。

1. 创建scrapy项目phone  
  2. 配置settings.py文件，配置的内容如下：

ROBOTSTXT_OBEY = False
    
    SPIDER_MIDDLEWARES = {
        'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
    }
    
    DOWNLOADER_MIDDLEWARES = {
        'scrapy_splash.SplashCookiesMiddleware': 723,
        'scrapy_splash.SplashMiddleware': 725,
        'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810
    }
    
    SPLASH_URL = 'http://localhost:8050'
    
    DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
    HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

具体的配置说明可以参考：  [https://pypi.python.org/pypi/scrapy-splash][scrapy-splash] .

3. 创建爬虫文件phoneSpider.py, 代码如下：

# -*- coding: utf-8 -*-
    from scrapy import Spider, Request
    from scrapy_splash import SplashRequest
    
    # splash lua script
    script = """ function main(splash, args) assert(splash:go(args.url)) assert(splash:wait(args.wait)) js = string.format("document.querySelector('#kw').value=%s;document.querySelector('#su').click()", args.phone) splash:evaljs(js) assert(splash:wait(args.wait)) return splash:html() end """
    
    class phoneSpider(Spider):
        name = 'phone'
        allowed_domains = ['www.baidu.com']
        url = 'https://www.baidu.com'
    
        # start request
        def start_requests(self):
            yield SplashRequest(self.url, callback=self.parse, endpoint='execute', args={
       'lua_source': script, 'phone':'159*******', 'wait': 5})
    
        # parse the html content 
        def parse(self, response):
            info = response.css('div.op_mobilephone_r.c-gap-bottom-small').xpath('span/text()').extract()
            print('='*40)
            print(''.join(info))
            print('='*40)

4. 运行爬虫，scrapy crawl phone, 结果如下：

![这里写图片描述][SouthEast 2]

实例展示到此结束，欢迎大家访问这个项目的Github地址：  [https://github.com/percent4/phoneSpider][https_github.com_percent4_phoneSpider] .当然，有什么问题，也可以载下面留言评论哦~~

[Link 1]: http://blog.csdn.net/jclian91/article/details/79553699
[scrapy-splash]: https://pypi.python.org/pypi/scrapy-splash
[Splash]: http://splash.readthedocs.io/en/latest/index.html
[docker]: https://www.docker.com/
[pull the image]: /images/20220529/300b06222d1e441d8a5bbc10950a087f.png
[SouthEast]: /images/20220529/1d1b2b788fc84af7ab0031d38d6e3fa9.png
[SouthEast 1]: /images/20220529/639d814e0b514054be9361908aa6d437.png
[SouthEast 2]: /images/20220529/98aee436a89d43f9ae4d35e748a4895f.png
[https_github.com_percent4_phoneSpider]: https://github.com/percent4/phoneSpider