爬虫框架scrapy - 豆瓣网上小说书单

超、凢脫俗 2022-05-19 12:09 187阅读 0赞

我们可以利用Python库Requests，selenium，可能还要结合threading，multiprocessing来写爬虫，多数情况是满足需求的。但写多了，会发现其中的某些代码，或者组件是可以复用的。把这些代码抽取出来，形成模块，这就是简单的构架了。然后再规范化，慢慢就形成框架了。

框架的好处是我们不用太关心具体功能的实现，只关注功能的逻辑。有了框架，可以简化代码量，提高工作效率。

这里就不写Scrapy的安装了，网上找一下，非常多。

下面开始Scrapy的尝试

一、创建工程

scrapy startproject doubanxs

二、框架结构

![70][]

详单说一下各文件的作用。

spiders文件夹：存放爬虫文件

items.py：定义\[需要的\]数据

pipeline.py：处理从spider返回的Item数据，比如清洗HTML源码、验证、去重、存储等

middlewares.py：中间件

settings.py：全局设置，比如USER\_AGENT，DEFAULT\_REQUEST\_HEADERS

三、编写spider

在spiders文件夹里创建doubanSpider.py文件，其中代码如下：

# -*- coding: utf-8 -*-
    
    import scrapy
    
    class DoubanSpider(scrapy.Spider):
        name = "doubanxs" # 爬虫名字，
        allowed_domains = ["book.douban.com"] # 允许爬取的域名列表
        start_urls = ['https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4'] # 用于爬取的URL列表，可以存放多个URL
        
        # 定义好上面的变量，开始爬取的时候，spider会把爬取的页面源码返回到parse()函数里处理.
        def parse(self, response):
            #print(response.body) # 打印页面源码。如果想以爬虫的视角来看源码的话，可以scrapy shell url命令，然后再view(response)
            #我们借助firefox浏览器来查找要获取的数据，这里用xpath来查找节点
            #print(response.url) # 打印当前请求的URL
            book_lists = response.xpath('//div[@id="subject_list"]/ul/li')
            for i in range(len(book_lists)):
                # 书名。replace()用来去除数据里的换行和空格
                name = book_lists[i].xpath('div[2]/h2/a/text()').extract_first().replace('\n','').replace(' ','') 
                # 作者
                author = book_lists[i].xpath('div[2]/div[1]/text()').extract_first().replace('\n','').replace(' ','') 
                print(name,' == ',author)

四、执行spider

在scrapy.cfg的目录里执行 scrapy crawl doubanxs

![70 1][]

得到一个403的响应，说明爬虫被网站屏蔽了。修改settings.py文件，增加模拟浏览器功能。

打开settings.py文件，添加如下代码：

USER\_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0'

DEFAULT\_REQUEST\_HEADERS = \{ \# 这里内容请在浏览器的开发者工具 > 网络 里查看  
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,\*/\*;q=0.8',  
   'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',  
\}

然后再执行 scrapy crawl doubanxs 就能得到数据了。

五、多页（下一页）

通过firefox的开发者工具找到【后页】的链接，然后交给spider去处理就好了。

增加多页处理后的代码如下：

一个简单的spider就完成了。

[70]: /images/20220519/dbd479f76f2847afbc441d84942aae42.png
[70 1]: /images/20220519/dfed86d1a4734d4b8067ba2faee6f618.png