网络爬虫框架scrapy 初试爬取豆瓣电影top250

朴灿烈づ我的快乐病毒、 2022-03-12 10:42 566阅读 0赞

以前一直用的网页级爬虫库（request），爬取了很多东西，12306余票，全国高校对四川招生，文章，图片等，不是说request不好才来学scrapy的，它们各有各自的优点和使用的场景。下面小小总结一下两者的区别：request网页级爬虫，爬取速度较慢，但是写出来的逻辑容易理解，也比较简单，适合爬虫初学者，而scrapy是一个系统的框架，功能全面，异步爬取，速度快，但是理解起来较难，不太适合新手入门，而且官网的scrapy中文文档看了，也未必能够理解scrapy框架....建议从request入门，理解爬虫的原理，再去学scrapy框架。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70][]

**scrapy中文官方文档：[https://scrapy-chs.readthedocs.io/zh\_CN/latest/index.html][https_scrapy-chs.readthedocs.io_zh_CN_latest_index.html]**

**scrapy常用命令：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 1][]

**一：新建一个项目：**

win+r  cmd后  ，scrapy startproject +项目名  或者 在pycharm 的命令窗口一下也可以，因为用的pycharm

就在pycharm命令串口下命令的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 2][]

然后pycharm里面会自动生成一系列文件和配置文件以及文件夹，目录结构如下：

![20190305200616739.png][]

**二：生成爬虫文件：scrapy genspider +爬虫名  +爬取的域名**

在命令窗口执行：  scrapy genspider doubanspider douban.com 生成一个名为doubanspider的爬虫文件

![20190305201052309.png][]

在spider文件下会有个doubanspider文件：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 3][]

**三：运行爬虫  scrapy crawl +spider下的爬虫文件名**

命令窗口下：scrapy crawl doubandspider  运行如下有报403错：

![20190305194343692.png][]

需要把浏览器信息user-agent加上，在setting里面把user-agent注释取消，并且把user-agent浏览器信息加上。

![20190305203325152.png][]

user-agent信息在浏览器豆瓣电影F12开发者模式 ，刷新，然后点击network，在all里面随便点个文件，有很多请求信息，在request header 里面把user-agent复制下，粘贴到setting里面。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 4][]

再次运行 scrapy crawl doubanspider：会显示rebot爬虫协议问题，在setting里面把

ROBOTSTXT_OBEY = True改为 ROBOTSTXT_OBEY = False 表示不遵守网站的reboot协议

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 5][]

![20190305210808598.png][]

**四：打开items.py文件，在doubanmovieItem下定义item容器，方便数据存取，以及数据库的表的建立（和django中的module相似）**

# -*- coding: utf-8 -*-
    
    # Define here the models for your scraped items
    #
    # See documentation in:
    # https://doc.scrapy.org/en/latest/topics/items.html
    
    import scrapy
    
    class DoubanmovieItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        serial_number=scrapy.Field()#序号
        movie_name=scrapy.Field()#电影名称
        introduce=scrapy.Field()#电影介绍
        star_score=scrapy.Field()#评分
        comments=scrapy.Field()#评论
        describe=scrapy.Field()#电影描述

**五：把doubanspider编写完成**

提取方法用的是xpath（真的很简单，菜鸟教程中等等都可以学习，很快就会掌握，scrapy shell练习方便理解掌握），还有很多其他提取方法，re，css（也很简单，标准的html规范），bs4等

菜鸟教程xpath教程：[http://www.runoob.com/xpath/xpath-tutorial.html][http_www.runoob.com_xpath_xpath-tutorial.html]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 6][]

# -*- coding: utf-8 -*-
    import scrapy
    from ..items import *
    
    class DoubanspiderSpider(scrapy.Spider):
        name = 'doubanspider'   #爬虫名字，名字必须唯一
        allowed_domains = ['movie.douban.com'] #爬取的域名，只允许爬取列表内的域名，为空则允许爬取所有域名
        start_urls = ['https://movie.douban.com/top250']#入口url
        #默认解析方法
        def parse(self, response):
            movie_list=response.xpath('//div[@class="article"]//ol//li')#xpath提取所有电影都在li标签这中
            item=DoubanmovieItem()#item容器导入
            for movie in movie_list:
                item['serial_number']=movie.xpath('.//em/text()').extract_first()#提取em标签中的序号
                item['movie_name']=movie.xpath('.//span[@class="title"][1]/text()').extract_first()#提取span标签中电影名字
                temp=movie.xpath('.//div[@class="info"]//p[1]/text()').extract()
                infos=""
                for info in temp:
                    infos+="".join(info.split())#去掉介绍里面空格以及换行
                item['introduce']=infos#提取电影介绍
                item['star_score']=movie.xpath('.//div[@class="star"]//span[@class="rating_num"]/text()').extract_first()#提取评分
                item['comments_num']=movie.xpath('.//div[@class="star"]//span[4]/text()').extract_first()#评论人数
                item['describe']=movie.xpath('.//p[@class="quote"]//span/text()').extract_first()#电影描述
    
                yield item#
            next_url=response.xpath('//span[@class="next"]/link/@href').extract_first()
            if next_url:
                yield scrapy.Request("https://movie.douban.com/top250"+next_url,callback=self.parse)

**六：运行爬虫 scrapy crawl +爬虫名 **

scrapy scrawl doubanspider 就能运行这个爬虫，会看到爬取的数据，以及显示的爬取状态，请求次数，深度，响应次数，调度次数....不得不说相比request  scrapy真的很快

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 8][]

**温馨提示：在命令窗口不怎么方便观察，可以在运行爬虫的命令后面追加 -o 文件名.后缀格式（.csv.json等）**

eg：scrapy  crawl doubanspider -o bandou.csv

运行结束后，点击一下爬虫文件，就会看到有个保存的文件，如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 9][]

在csv文件里面，最上面一行，是我们在item定义的字段，每一个字段对应一列内容，知识没有对齐，可以看到倒数第二列就是序号，翻到csv文件最后，看最后一行倒数第二列，可以看到序号为250说明，我们爬取的数据都保存完毕，爬取十分成功！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 10][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70]: /images/20220312/75a6e989ac6a4d4d9ac05f1a089e0b1b.png
[https_scrapy-chs.readthedocs.io_zh_CN_latest_index.html]: https://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 1]: /images/20220312/b053e0ef011740cf88e57630a38b2aee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 2]: /images/20220312/b5b834cb2c7c4593b0ef68261c8ed0fa.png
[20190305200616739.png]: /images/20220312/1b4321acbdf24b55ace15dce9e6a5548.png
[20190305201052309.png]: /images/20220312/edc12a344d984fbea50130d8102d63dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 3]: /images/20220312/ea74af77d9fb4cf58cab94e2041bd3bc.png
[20190305194343692.png]: /images/20220312/48d018321f994c4b9a16ec19f1c88d8e.png
[20190305203325152.png]: /images/20220312/8006ab1ac89842339772bbde2be2cf36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 4]: /images/20220312/3cc2824857df4b759670b82257608357.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 5]: /images/20220312/b49fdae75af84c92893021fe66cb9c47.png
[20190305210808598.png]: /images/20220312/5511a8b8fed549d5ae4eb2827bad096a.png
[http_www.runoob.com_xpath_xpath-tutorial.html]: http://www.runoob.com/xpath/xpath-tutorial.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 6]: /images/20220312/9ab7616a4053448184b537d83905e13f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 7]: /images/20220312/41fa1ea95032453da3a452446c1841d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 8]: /images/20220312/b47f3a59e97b45af9bc85d8e1fe46f90.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 9]: /images/20220312/c23e6512828947f888a03a35873a6821.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 10]: /images/20220312/1d1cafe3d1984d1fa7756e934e1155c1.png