这可能是你见过的最全的网络爬虫干货总结！

小咪咪 2022-01-31 20:17 177阅读 0赞

转载自公众号：进击的Coder：

## 总括 ##

整个分享的主题叫做《健壮高效的网络爬虫》，本次分享从抓取、解析、存储、反爬、加速五个方面介绍了利用 Python 进行网络爬虫开发的相关知识点和技巧，介绍了不同场景下如何采取不同措施高效地进行数据抓取的方法，包括 Web 抓取、App 抓取、数据存储、代理选购、验证码破解、分布式抓取及管理、智能解析等多方面的内容，另外还结合了不同场景介绍了常用的一些工具包，全部内容是我在从事网络爬虫研究过程以来的经验精华总结。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70][]

爬取

对于爬取来说，我们需要学会使用不同的方法来应对不同情景下的数据抓取任务。

爬取的目标绝大多数情况下要么是网页，要么是 App，所以这里就分为这两个大类别来进行了介绍。

对于网页来说，我又将其划分为了两种类别，即服务端渲染和客户端渲染，对于 App 来说，我又针对接口的形式进行了四种类别的划分——普通接口、加密参数接口、加密内容接口、非常规协议接口。

所以整个大纲是这样子的：

*  网页爬取
    
     *  服务端渲染
     *  客户端渲染
 *  App 爬取
    
     *  普通接口
     *  加密参数接口
     *  加密内容接口
     *  非常规协议接口

### 爬取 / 网页爬取 ###

服务端渲染的意思就是页面的结果是由服务器渲染后返回的，有效信息包含在请求的 HTML 页面里面，比如猫眼电影这个站点。客户端渲染的意思就是页面的主要内容由 JavaScript 渲染而成，真实的数据是通过 Ajax 接口等形式获取的，比如淘宝、微博手机版等等站点。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 1][]

服务端渲染的情况就比较简单了，用一些基本的 HTTP 请求库就可以实现爬取，如 urllib、urllib3、pycurl、hyper、requests、grab 等框架，其中应用最多的可能就是 requests  了。

对于客户端渲染，这里我又划分了四个处理方法：

*  寻找 Ajax 接口，此种情形可以直接使用 Chrome/Firefox 的开发者工具直接查看 Ajax 具体的请求方式、参数等内容，然后用 HTTP 请求库模拟即可，另外还可以通过设置代理抓包来查看接口，如 Fiddler/Charles。
 *  模拟浏览器执行，此种情形适用于网页接口和逻辑较为复杂的情况，可以直接以可见即可爬的方式进行爬取，如可以使用 Selenium、Splinter、Spynner、pyppeteer、PhantomJS、Splash、requests-html 等来实现。
 *  直接提取 JavaScript 数据，此种情形适用于真实数据没有经过 Ajax 接口获取，而是直接包含在 HTML 结果的某个变量中，直接使用正则表达式将其提取即可。
 *  模拟执行 JavaScript，某些情况下直接模拟浏览器执行效率会偏低，如果我们把 JavaScript 的某些执行和加密逻辑摸清楚了，可以直接执行相关的 JavaScript 来完成逻辑处理和接口请求，比如使用 Selenium、PyExecJS、PyV8、js2py 等库来完成即可。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 5][]

### 爬取 / App 爬取 ###

对于 App 的爬取，这里分了四个处理情况：

*  对于普通无加密接口，这种直接抓包拿到接口的具体请求形式就好了，可用的抓包工具有 Charles、Fiddler、mitmproxy。
 *  对于加密参数的接口，一种方法可以实时处理，例如 Fiddler、mitmdump、Xposed 等，另一种方法是将加密逻辑破解，直接模拟构造即可，可能需要一些反编译的技巧。
 *  对于加密内容的接口，即接口返回结果完全看不懂是什么东西，可以使用可见即可爬的工具 Appium，也可以使用 Xposed 来 hook 获取渲染结果，也可以通过反编译和改写手机底层来实现破解。
 *  对于非常规协议，可以使用 Wireshark 来抓取所有协议的包，或者使用 Tcpdump 来进行 TCP 数据包截获。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 8][]

以上便是爬取流程的相关分类和对应的处理方法。

## 解析 ##

对于解析来说，对于 HTML 类型的页面来说，常用的解析方法其实无非那么几种，正则、XPath、CSS Selector，另外对于某些接口，常见的可能就是 JSON、XML 类型，使用对应的库进行处理即可。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 9][]

这些规则和解析方法其实写起来是很繁琐的，如果我们要爬上万个网站，如果每个网站都去写对应的规则，那么不就太累了吗？所以智能解析便是一个需求。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 10][]

智能解析意思就是说，如果能提供一个页面，算法可以自动来提取页面的标题、正文、日期等内容，同时把无用的信息给刨除，例如上图，这是 Safari 中自带的阅读模式自动解析的结果。

对于智能解析，下面分为四个方法进行了划分：

*  readability 算法，这个算法定义了不同区块的不同标注集合，通过权重计算来得到最可能的区块位置。
 *  疏密度判断，计算单位个数区块内的平均文本内容长度，根据疏密程度来大致区分。
 *  Scrapyly 自学习，是 Scrapy 开发的组件，指定⻚页⾯面和提取结果样例例，其可⾃自学习提取规则，提取其他同类⻚页⾯面。
 *  深度学习，使⽤用深度学习来对解析位置进⾏行行有监督学习，需要⼤大量量标注数据。

如果能够容忍一定的错误率，可以使用智能解析来大大节省时间。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 11][]

目前这部分内容我也还在探索中，准确率有待继续提高。

## 存储 ##

存储，即选用合适的存储媒介来存储爬取到的结果，这里还是分为四种存储方式来进行介绍。

*  文件，如 JSON、CSV、TXT、图⽚、视频、⾳频等，常用的一些库有 csv、xlwt、json、pandas、pickle、python-docx 等。
 *  数据库，分为关系型数据库、非关系型数据库，如 MySQL、MongoDB、HBase 等，常用的库有 pymysql、pymssql、redis-py、pymongo、py2neo、thrift。
 *  搜索引擎，如 Solr、ElasticSearch 等，便于检索和实现⽂本匹配，常用的库有 elasticsearch、pysolr 等。
 *  云存储，某些媒体文件可以存到如七⽜牛云、又拍云、阿里云、腾讯云、Amazon S3 等，常用的库有 qiniu、upyun、boto、azure-storage、google-cloud-storage 等。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 13][]

这部分的关键在于和实际业务相结合，看看选用哪种方式更可以应对业务需求。

## 反爬 ##

反爬这部分是个重点，爬虫现在已经越来越难了，非常多的网站已经添加了各种反爬措施，在这里可以分为非浏览器检测、封 IP、验证码、封账号、字体反爬等。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 14][]

下面主要从封 IP、验证码、封账号三个方面来阐述反爬的处理手段。

### 反爬 / 封 IP ###

对于封 IP 的情况，可以分为几种情况来处理：

*  首先寻找手机站点、App 站点，如果存在此类站点，反爬会相对较弱。
 *  使用代理，如抓取免费代理、购买付费代理、使用 Tor 代理、Socks 代理等。
 *  在代理的基础上维护自己的代理池，防止代理浪费，保证实时可用。
 *  搭建 ADSL 拨号代理，稳定高效。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 15][]

### 反爬 / 验证码 ###

验证码分为非常多种，如普通图形验证码、算术题验证码、滑动验证码、点触验证码、手机验证码、扫二维码等。

*  对于普通图形验证码，如果非常规整且没有变形或干扰，可以使用 OCR 识别，也可以使用机器学习、深度学习来进行模型训练，当然打码平台是最方便的方式。
 *  对于算术题验证码，推荐直接使用打码平台。
 *  对于滑动验证码，可以使用破解算法，也可以模拟滑动。后者的关键在于缺口的找寻，可以使用图片比对，也可以写基本的图形识别算法，也可以对接打码平台，也可以使用深度学习训练识别接口。
 *  对于点触验证码，推荐使用打码平台。
 *  对于手机验证码，可以使用验证码分发平台，也可以购买专门的收码设备，也可以人工验证。
 *  对于扫二维码，可以人工扫码，也可以对接打码平台。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 16][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 17][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 18][]

### 反爬 / 封账号 ###

某些网站需要登录才能爬取，但是一个账号登录之后请求过于频繁会被封号，为了避免封号，可以采取如下措施：

*  寻找手机站点或 App 站点，此种类别通常是接口形式，校验较弱。
 *  寻找无登录接口，尽可能寻找⽆无需登录即可爬取的接口。
 *  维护 Cookies 池，使⽤用批量账号模拟登录，使⽤时随机挑选可用 Cookies 使⽤即可，实现：https://github.com/Python3WebSpider/CookiesPool。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 19][]

## 加速 ##

当爬取的数据量非常大时，如何高效快速地进行数据抓取是关键。

常见的措施有多线程、多进程、异步、分布式、细节优化等。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 20][]

### 加速 / 多线程、多进程 ###

爬虫是网络请求密集型任务，所以使用多进程和多线程可以大大提高抓取效率，如使用 threading、multiprocessing 等。

### 加速 / 异步 ###

将爬取过程改成非阻塞形式，当有响应式再进行处理，否则在等待时间内可以运行其他任务，如使用 asyncio、aiohttp、Tornado、Twisted、gevent、grequests、pyppeteer、pyspider、Scrapy 等。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 21][]

### 加速 / 分布式 ###

分布式的关键在于共享爬取队列，可以使用 celery、huey、rq、rabbitmq、kafka 等来实现任务队列的对接，也可以使用现成的框架 pyspider、Scrapy-Redis、Scrapy-Cluster 等。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 22][]

### 加速 / 优化 ###

可以采取某些优化措施来实现爬取的加速，如：

*  DNS 缓存
 *  使用更快的解析方法
 *  使用更高效的去重方法
 *  模块分离化管控

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 23][]

### 加速 / 架构 ###

如果搭建了分布式，要实现高效的爬取和管理调度、监控等操作，我们可以使用两种架构来维护我们的爬虫项目。

*  将 Scrapy 项目打包为 Docker 镜像，使用 K8S 控制调度过程。
 *  将 Scrapy 项目部署到 Scrapyd，使用专用的管理工具如 SpiderKeeper、Gerapy 等管理。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 24][]

以上便是我分享的全部内容，所有的内容几乎都展开说了，一共讲了一个半小时。

上面的文字版的总结可能比较简略，非常建议大家如有时间的话观看原版视频分享，里面还能看到我本人的真面目哦，现在已经上传到了 Bilibili，链接为：https://www.bilibili.com/video/av34379204，大家也可以通过点击原文或扫码来查看视频。

另外对于这部分内容，其实还有我制作的更丰富的思维导图，预览图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 25][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70]: /images/20220201/ba7e8153d63444518ced4b387bf4f6ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 1]: /images/20220201/1bd0f6a8cbc74e8cb8ba39588cd68b39.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 2]: /images/20220201/aa2eaed097fa4ef584a3f90acf7cbe07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 3]: /images/20220201/f86d45fb808e4af2854895cd2f5cdbfd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 4]: /images/20220201/e2545ec5db134b9197d650484389e7fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 5]: /images/20220201/f542b613b7fc479faf77dcb903760e9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 6]: /images/20220201/fb692d00270b42e7b868f34dc9ed1ace.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 7]: /images/20220201/f55e64e735114390aa60d504b9658357.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 8]: /images/20220201/e7c2596135b84041ba978547debea3aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 9]: /images/20220201/05e398ecbe2546b3ab46037df3f2aa79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 10]: /images/20220201/918060289bb041f7bf1205f42c3a8255.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 11]: /images/20220201/ae079c657ab543ed885c738ff066c871.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 12]: /images/20220201/85845313bc5244d2aedad7d41f8ee43a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 13]: /images/20220201/9e81f6fd3ac7495fa1af36a94ee76fe2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 14]: /images/20220201/a9fccdf2517c4e659861bc56e81e2a01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 15]: /images/20220201/cbcbc359bc994e19bee62af57168bff3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 16]: /images/20220201/e3ef9bb564b24e92b6f0f998fa206f08.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 17]: /images/20220201/9cd48fa7b15c43d2850cc993f52fda82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 18]: /images/20220201/dbabeb7278994dbbaeb981c636c434ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 19]: /images/20220201/4f25ef27c292430ca9dc3566af9d6002.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 20]: /images/20220201/a151fcff190f4efdbfa2a225e730bf47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 21]: /images/20220201/c3cb5822975d4c4784311ecdedfc4fb8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 22]: /images/20220201/e517461af733434cbaa4cbba3d0378ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 23]: /images/20220201/0873d5d4a5fd4713b63275ca05b72e22.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 24]: /images/20220201/f083071273b74e4db865271dc63d1bcb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll_size_27_color_FFFFFF_t_70 25]: /images/20220201/58cb0ea1761a43f8b3af7cb8cde953e5.png