Scrapy爬虫（5）爬取当当网图书畅销榜

灰太狼 2022-05-29 02:10 227阅读 0赞

本次将会使用Scrapy来爬取当当网的图书畅销榜，其网页截图如下：

![当当网图书畅销榜][SouthEast]

我们的爬虫将会把每本书的排名，书名，作者，出版社，价格以及评论数爬取出来，并保存为csv格式的文件。项目的具体创建就不再多讲，可以参考[上一篇博客][Link 1]，我们只需要修改items.py文件，以及新建一个爬虫文件BookSpider.py.  
  items.py文件的代码如下，用来储存每本书的排名，书名，作者，出版社，价格以及评论数。

import scrapy
     class BookspiderItem(scrapy.Item): rank = scrapy.Field() name = scrapy.Field() author = scrapy.Field() press = scrapy.Field() price = scrapy.Field() comments = scrapy.Field()

BookSpider.py代码如下，用来具体地爬取数据。

import scrapy
    from scrapy.selector import Selector
    from bookSpider.items import BookspiderItem
    
    class bookSpider(scrapy.Spider):
        name = 'bookScrapy'
        start_urls = ['http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-%d'%i for i in range(1,26)]
    
        def parse(self, response):
            item = BookspiderItem()
            sel = Selector(response)
    
            book_list = response.css('ul.bang_list.clearfix.bang_list_mode').xpath('li')
    
            for book in book_list:
                item['rank'] = book.css('div.list_num').xpath('text()').extract_first()
                item['name'] = book.css('div.name').xpath('a/text()').extract_first()
                item['author'] = book.css('div.publisher_info')[0].xpath('a/text()').extract_first()
                item['press'] = book.css('div.publisher_info')[1].xpath('a/text()').extract_first()
                item['price'] = book.css('span.price_n').xpath('text()').extract_first()
                item['comments'] = book.css('div.star').xpath('a/text()').extract_first()
    
                yield item

代码就是这么简单，哈哈，别忘了在settings.py中将设置“ROBOTSTXT\_OBEY = False”.  
  整个项目就是这样啦，最后，我们运行命令

scrapy crawl bookScrapy -o dangdang.csv -t csv

这样就会把刚才爬取的数据保存为dangdang.csv，该文件在spiders目录下。

![dangdang.csv][]

打开dangdang.csv，其中的部分内容如下：

![书的信息][SouthEast 1]

我们可以发现，书的信息不是有序储存的，但还是达到了笔者的要求，怎么样，是不是觉得Scrapy简单又使用呢？强大的Scrapy!

[SouthEast]: /images/20220529/37cca06720a44ded92101bd647d88c53.png
[Link 1]: http://blog.csdn.net/jclian91/article/details/79553699
[dangdang.csv]: /images/20220529/206e0cfdb67642a1ae35c5aadb30adab.png
[SouthEast 1]: /images/20220529/414ba389adf946c69e3c9c8ffd904532.png