精通Scrapy网络爬虫【一】第一个爬虫项目

淩亂°似流年 2021-09-08 09:56 589阅读 0赞

## 初识Scrapy ##

**一个网络爬虫程序的基本执行流程可以总结为以下循环**：

1．下载页面一个网页的内容本质上就是一个HTML文本，爬取一个网页内容之前，首先要根据网页的URL下载网页。

2．提取页面中的数据当一个网页（HTML）下载完成后，对页面中的内容进行分析，并提取出我们感兴趣的数据，提取到的数据可以以多种形式保存起来，比如将数据以某种格式（CSV、JSON）写入文件中，或存储到数据库（MySQL、MongoDB）中。

3．提取页面中的链接通常，我们想要获取的数据并不只在一个页面中，而是分布在多个页面中，这些页面彼此联系，一个页面中可能包含一个或多个到其他页面的链接，提取完当前页面中的数据后，还要把页面中的某些链接也提取出来，然后对链接页面进行爬取（循环1-3步骤）。

使用pip install scrapy安装scrpay  
![在这里插入图片描述][20210619140509169.png]输入scrapy  
测试是否安装成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70]

## 编写第一个爬虫项目 ##

使用scrapystartproject命令：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 2]

## 分析页面 ##

http://books.toscrape.com/  
打开开发者工具进行分析  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 3]

可以看到，每一本书的信息包裹在
    <article class="product_pod">元素中：
    书名信息在其下<h3 > a元素的title属性中，如<ahref="catalogue/a-light-in-the-attic_1000/index.html"title="ALight in the Attic">A Light in the ...</a>；
    书价信息在其下<p class="price_color">元素的文本中，如<p class="price_color">£51.77</p>。

分析next按钮  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 4]

可以发现，下一页的URL在ul.pager > li.next > a元素的href属性中，是一个相对URL地址，如<li class="next"><ahref="catalogue/page-2.html">next</a></li>。

## 编写爬虫 ##

scrapy genspider book\_spider http://books.toscrape.com/  
**创建spider**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 5]

**编写**

import scrapy
    
    
    class BookSpiderSpider(scrapy.Spider):
        name = 'book_spider'
        # allowed_domains = ['http://books.toscrape.com/']
        start_urls = ['http://books.toscrape.com//']
    
        def parse(self, response):
            for book in response.css('article.product_pod'):
                name=book.xpath('./h3/a/@title').extract_first()
                price=book.css('p.price_color::text').extract_first()
                yield { 
                    'name':name,
                    'price':price,
                }
            next_url=response.css('ul.pager li.next a::attr(href)').extract_first()
            if next_url:
                next_url=response.urljoin(next_url)
                yield scrapy.Request(next_url,callback=self.parse)

在shell中执行scrapy crawl book\_spider运行爬虫  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 6]  
从上述数据可以看出，我们成功地爬取到了1000本书的书名和价格信息（50页，每页20项）。

参考资料：《精通Scrapy网络爬虫》刘硕 清华大学出版社

[20210619140509169.png]: /images/20210813/c674e15d125146ab8411994916869c31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70]: /images/20210813/f29a6d98a13d428ea4cecb84f51acb4f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 1]: /images/20210813/ef63d70e83a54abbbd2deee8390c3990.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 2]: /images/20210813/c722f9ad878a4743a7bc5cca39479dac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 3]: /images/20210813/272af81380a8468f887e7d771c24548c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 4]: /images/20210813/6456b169898642adb261647046d99b57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 5]: /images/20210813/06386835273846638fb82c852658de2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwMzYzMg_size_16_color_FFFFFF_t_70 6]: /images/20210813/a2b19ff9248646b19916b1e857518975.png