D 1. 实战 - scrapy爬虫抓取当当图书

港控/mmm° 2022-05-19 07:09 258阅读 0赞

# 1 抓取当当图书详情，存入mysql #

--------------------

## 1.1 项目需求 ##

1.  抓取当当网自营的湖南教育出版社图书信息，通过异步的方式存入mysql数据库。
2.  训练目的：html，异步存储
3.  url 地址：  
    [http://search.dangdang.com/?key=%BA%FE%C4%CF%BD%CC%D3%FD%B3%F6%B0%E6%C9%E7&ddsale=1&page\_index=1][http_search.dangdang.com_key_BA_FE_C4_CF_BD_CC_D3_FD_B3_F6_B0_E6_C9_E7_ddsale_1_page_index_1]
4.  图书信息包括：
    
     *  ID
     *  名字 name
     *  ISBN
     *  原价 price\_p
     *  现价 price\_n
     *  作者 author
     *  出版日期 pub\_time
     *  出版社 publisher
     *  总评分 total\_star
     *  评论数 comment\_num
     *  书店 store
     *  类型 book\_type

## 1.2 页面分析 ##

1.  图书列表页面分析

scrapy shell
    fetch('http://search.dangdang.com/?key=%BA%FE%C4%CF%BD%CC%D3%FD%B3%F6%B0%E6%C9%E7&ddsale=1')
    sel = response.css('ul.bigimg li')
    # 书名
    name = sel[0].css('p.name a::attr(title)').extract_first()
    # 价格
    price = sel[0].css('p.price span::text').extract_first()
    # 作者
    author = sel[0].css('p.search_book_author span')[0].css('a::text').extract()
    # 出版日期 
    time = sel[0].css('p.search_book_author span')[1].css('span::text').extract_first().split('/')[1]
    # 出版社
    publisher = sel[0].css('p.search_book_author a::text').extract()[-1]
    # 评分
    star = sel[0].css('span.search_star_black span::attr(style)').extract_first().split(' ')[1]
    # 评论数
    comment_num = sel[0].css('a.search_comment_num::text').extract_first().split('条')[0]
    
    # 跳转url
    url = sel[0].css('p.name a::attr(href)').extract_first()

1.  图书详情页分析

# ID
    book['ID'] = re.findall(r'com/(.*).html',response.url)[0]
    
    li = response.xpath('//ul[@class="key clearfix"]/li/text()').extract()
    # ISBN
    book['ISBN'] = li[4].split('：')[1]
    # 类型
    book['book_type'] = response.xpath('//span[@class="lie"]/a/text()').extract()

## 1.3 新建数据库/表 ##

1.  MySQL打开/关闭  
    `net start mysql80`  
    `net stop mysql80`
2.  登录MySQL  
    `$ mysql -hlocalhost -uroot -p0000`
3.  新建数据库，取名为scrapy\_db  
    `mysql> CREATE DATABASE scrapy_db CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';`  
    `Query OK, 1 row affected (0.00 sec)`
4.  使用数据库  
    `USE scrapy_db；`
5.  创建表  
    `mysql> CREATE TABLE books (`  
    `ID CHAR(16) NOT NULL PRIMARY KEY,`  
    `name VARCHAR(256) NOT NULL,`  
    `ISBN VARCHAR(16) NOT NULL,`  
    `star INT`  
    `) ENGINE=InnoDB DEFAULT CHARSET=utf8;`  
    `Query OK, 0 rows affected (0.08 sec)`
6.  常用查询操作  
    `select count(*) from books;`  
    `count(*)`  
    `select name from books;`

## 1.4 创建spider项目 ##

1、创建项目、爬虫

scrapy startproject dangdang_book
    scrapy genspider BookSpider

2、修改Items.py

import scrapy
    
    class DangdangBook722Item(scrapy.Item):
        name = scrapy.Field()
        ......
        ISBN = scrapy.Field()
        book_type = scrapy.Field(serializer=lambda x: '|'.join(x))

3、修改spider.py  
略  
4、修改pipeline.py

# 存入数据库

5、修改setting.py

## 1.5 结果验证 ##

*  观察数据库数据，发现三个问题：某些书ISBN不对；只有58本书，少了两本书；不完全是教育出版社。对结果进行修正
 *  速度对比： 基于scrapy的异步数据库存储爬虫 vs 基于requests库的页面级爬虫  
    
    
     *  任务：抓取100页教育出版社图书信息，共打开网页链接100\*60 = 6000个
     *  scrapy情况  
        
        
         *  用时：`9:33:30 -- 9:35:00`，共90秒
         *  数量：抓取1482本书
     *  requests情况  
        
        
         *  用时：`10:24:00 -- 11:28（未完结，赶着去吃饭）`，1小时抓了50页图书。

## 其他：遇到问题 ##

### 1.4.1 编写spider ###

*  问题一：  
    图书信息需要提取两个页面才能完成，那么如何把上一个def中的数据，传入下一个def中呢？

# 构造字典 meta={'_book_item':book_item}，通过scrapy.Request传入
    # 下一个def 通过book_item = response.meta['_book_item']获得数据
    def parse(self, response):
        ......
        yield scrapy.Request(url, headers= {
       'User-Agent':'Mozilla/5.0'}, callback=self.book_parse, meta={
       '_book_item':book_item})
    
    def parse_book(self, response):
        book_item = response.meta['_book_item']

*  问题二：  
    [scrapy 爬网站 显示 Filtered offsite request to 错误][scrapy _ _ Filtered offsite request to]

### 1.4.2 编写pipelines ###

*  问题一：（困扰了很久）  
    
    
     *  数据存入mysql时显示`_mysql_exceptions.OperationalError: (1241, 'Operand should contain 1 column(s)')`
     *  解决问题的思路参考  
        [https://stackoverflow.com/questions/26332998/why-does-insert-into-fail-with-operand-should-contain-1-columns][https_stackoverflow.com_questions_26332998_why-does-insert-into-fail-with-operand-should-contain-1-columns]

# 后来发现是item['author'],item['book_type']错了
    # 因为我用了函数 book_type = scrapy.Field(serializer=lambda x: '|'.join(x))讲一个列表合并成字符串，不过存入数据库的还是列表，不知道为什么
    # 妥协的解决办法，在spider中修改item['author'],item['book_type']

[http_search.dangdang.com_key_BA_FE_C4_CF_BD_CC_D3_FD_B3_F6_B0_E6_C9_E7_ddsale_1_page_index_1]: http://search.dangdang.com/?key=%BA%FE%C4%CF%BD%CC%D3%FD%B3%F6%B0%E6%C9%E7&ddsale=1&page_index=1
[scrapy _ _ Filtered offsite request to]: https://blog.csdn.net/feifly329/article/details/49702063
[https_stackoverflow.com_questions_26332998_why-does-insert-into-fail-with-operand-should-contain-1-columns]: https://stackoverflow.com/questions/26332998/why-does-insert-into-fail-with-operand-should-contain-1-columns