爬虫框架推荐对比（附源码）

曾经终败给现在 2021-12-10 06:34 394阅读 0赞

在这里推荐几个值得关注的异步爬虫库，给你的爬虫提速。看看有没有你没听过的？

## **类似 Requests 的库** ##

> 为什么要推荐类似 Requests 的库呢？Requests 不够好吗？  
>   
> 虽然 Requests 对于新手很容易上手，但它是同步的、并不是异步设计的。在 HTTP 请求的时候是需要 IO 等待的。比如说，当你使用 Requests 库进行请求，网站进行返回的时候，这时 IO 就会阻塞，程序就需要等待网站的返回，这就让爬取速度变慢了。  
>   
> 那么异步的好处在哪呢？ *（侯爵老师兴奋的停不下来，继续说着）*  
>   
> Python 的代码是一行行去执行。也就是说，如果哪一行是非常耗时间的，之后的所有事情都会等到它完成才执行。因此 Python 异步编程也就应运而生用来解决这个问题。异步的方式在于你写的这些代码中哪些是执行时间非常短的，那么就先执行，耗时的操作会被搁在后面，并且执行这个过程完全都由 Python 的异步库自己来进行调控。  
>   
> 这样的好处就是只写少量的代码也能达到不错的效率，同时在代码可读性上也变得更加直观了。

下面这几个库，都是类似 Requests 的用法但是基于异步的设计。

### ▍ 最推荐：aiohttp ###

![v2-789379a60c63407ae990572df6e5300a_hd.jpg][] ![v2-789379a60c63407ae990572df6e5300a_hd.jpg 1][][aio-libs/aiohttpgithub.com![图标][v2-68a07c30bc50eb4fd84fd42dccb83878_ipico.jpg]][aio-libs_aiohttp_github.com_v2-68a07c30bc50eb4fd84fd42dccb83878_ipico.jpg]

aiohttp 是纯粹的异步框架，同时支持 HTTP 客户端和 HTTP 服务端，可以快速实现异步爬虫。坑比其他框架少。并且 aiohttp 解决了requests 的一个痛点，aiohttp 可以轻松实现自动转码，对于中文编码就很方便了。

### ▍ 第二推荐：asks ###

![v2-7011519a301f6bd5318236fa70369600_hd.jpg][] ![v2-7011519a301f6bd5318236fa70369600_hd.jpg 1][][theelous3/asksgithub.com![图标][v2-386af8fdc217744cdeae557b91541aa1_ipico.jpg]][theelous3_asks_github.com_v2-386af8fdc217744cdeae557b91541aa1_ipico.jpg]

Python 自带一个异步的标准库 asyncio，但是这个库很多人觉得不好用，甚至是 Flask 库的作者公开抱怨自己花了好长时间才理解这玩意，于是就有好事者撇开它造了两个库叫做 curio 和 trio，而这里的 ask 则是封装了 curio 和 trio 的一个 http 请求库。

![v2-19a7b738e5a4a586dd4f8e07c7fa974f_hd.jpg][] ![v2-19a7b738e5a4a586dd4f8e07c7fa974f_hd.jpg 1][] ask的家族谱系图

用起来和 Requests 90%相似，新手也可以很快上手。

### ▍ 第三推荐：vibora ###

![v2-eadedbf04e6a53e7e122768374c98785_hd.jpg][] ![v2-eadedbf04e6a53e7e122768374c98785_hd.jpg 1][][vibora-io/viboragithub.com![图标][v2-903a2393ca82af287d648ae9756efceb_ipico.jpg]][vibora-io_vibora_github.com_v2-903a2393ca82af287d648ae9756efceb_ipico.jpg]

号称是现在最快的异步请求框架，跑分是最快的。写爬虫、写服务器响应都可以用。

但这个项目一直在重构，这谁受得了。现在页面上还挂着项目正在重构的警告，使用需谨慎啊。

## **类似 Selenium 的库** ##

Selenium +webdriver 可以用来模拟用来模拟浏览器请求，Selenium也是同步的、而不是异步设计的。而下面这些库不光是从效率上，还有易用性上也比 Selenium 进化了不少。

### ▍ 最推荐：Pyppeteer ###

![v2-9161e2c036993241e3a2bd4881b8c6c9_hd.jpg][] ![v2-9161e2c036993241e3a2bd4881b8c6c9_hd.jpg 1][][miyakogi/pyppeteergithub.com![图标][v2-089c20f5424a75fa73cd6cf187ec80e9_ipico.jpg]][miyakogi_pyppeteer_github.com_v2-089c20f5424a75fa73cd6cf187ec80e9_ipico.jpg]

Pyppeteer 是异步无头浏览器（Headless Chrome），从跑分来看比 Selenium + webdriver 快，使用方式是最接近于浏览器的自身的设计接口的。它本身是来自 Google 维护的 puppeteer，但是按照 Python 社区的梗，作者进行了封装并且把名字中的 u 改成了 y

特点是异步的设计，接口非常浏览器化，注入 JS 也很方便。

### ▍ 第二推荐：Requestium ###

![v2-447b0bb5f28fa6f7af1e285e18c977fb_hd.jpg][] ![v2-447b0bb5f28fa6f7af1e285e18c977fb_hd.jpg 1][][tryolabs/requestiumgithub.com![图标][v2-a3813433cbd98ee3726a983a5bb77dcc_ipico.jpg]][tryolabs_requestium_github.com_v2-a3813433cbd98ee3726a983a5bb77dcc_ipico.jpg]

Requests 的作者 Kenneth Reitz 曾经转发称赞过这个库。

![v2-5e4b522866ef8f936409f20651e13ac7_hd.jpg][] ![v2-5e4b522866ef8f936409f20651e13ac7_hd.jpg 1][]

Requestium 是 Requests 和 Selenium 封装的产物，并且提供了友好的接口切换，这样就可以根据需求切换了。

值得一提的是，Requestium 有一个 Wait Until 的方便设计，它的作用是确保页面中的某一个元素出现了才会进行下面的代码，这样一来就很轻松的避免了一些诡异的错误。GitHub 页面上有一组示例，是使用 Requestium 以及使用 Requests + Selenium + lxml 的对比，可以很明显看出区别。

![v2-fed7c34aa920227d761fad8418757970_hd.jpg][] ![v2-fed7c34aa920227d761fad8418757970_hd.jpg 1][] 使用 Requestium 以及使用 Requests + Selenium + lxml 的对比

### ▍ 第三推荐：arsenic ###

![v2-fb644b08ecedce00b57c755bf286ad08_hd.jpg][] ![v2-fb644b08ecedce00b57c755bf286ad08_hd.jpg 1][][HDE/arsenicgithub.com![图标][v2-ee995e04120f4e3b4d93a46d6d39d004_ipico.jpg]][HDE_arsenic_github.com_v2-ee995e04120f4e3b4d93a46d6d39d004_ipico.jpg]

HDE 公司用在了实际生产中的项目抽离出来的框架。和 selenium 接口几乎一致，学习成本相对较低。不同在于是异步的设计。不过文档有点糟糕。

## **框架** ##

### **▍ 最推荐：Grab** ###

![v2-507bcf572f33248da810bc9b5febd8be_hd.jpg][] ![v2-507bcf572f33248da810bc9b5febd8be_hd.jpg 1][][lorien/grabgithub.com![图标][v2-d7098190ed232948138c562fe5dcee72_ipico.jpg]][lorien_grab_github.com_v2-d7098190ed232948138c562fe5dcee72_ipico.jpg]

前端圈很流行说渐进式框架，那么 Grab 可以说是爬虫界的渐进式框架。想简单用时有简单的用法，想复杂使用时也有复杂的用法。封装的很好，基于生成器异步的设计。

### ▍ **第二推荐：botflow**  ###

![v2-96ab34eabaf179abfdc1a25dd17ee7c6_hd.jpg][] ![v2-96ab34eabaf179abfdc1a25dd17ee7c6_hd.jpg 1][][https://github.com/kkyon/botflowgithub.com][https_github.com_kkyon_botflow_github.com]

国人作者。概念很新颖，定位成了处理数据工作流的框架，可以用来爬虫、机器学习、量化交易等等。

### ▍ **第三推荐：ruia**  ###

![v2-7cf4425201d7c0e01a52fbd8687fb881_hd.jpg][] ![v2-7cf4425201d7c0e01a52fbd8687fb881_hd.jpg 1][][https://github.com/howie6879/ruiagithub.com][https_github.com_howie6879_ruia_github.com]

国人作者。比较接近 Scrapy 的使用方式，异步设计。作者也在知乎但是很低调

@howie

## **非 Python 框架** ##

### ▍ Golang 爬虫框架 ###

![v2-8816e6136304c1b1bde69daf10db32e2_hd.jpg][] ![v2-8816e6136304c1b1bde69daf10db32e2_hd.jpg 1][][gocolly/collygithub.com![图标][v2-6fa6a5388d1acf9a16888ae4b6eebd14_ipico.jpg]][gocolly_colly_github.com_v2-6fa6a5388d1acf9a16888ae4b6eebd14_ipico.jpg]

应该是 Golang 里使用量最多的爬虫框架了。Golang 语言本身就对并发支持很好。让你在使用时只考虑业务本身就可以。框架结构化、清晰、代码好读。

### ▍ nodejs 爬虫框架 ###

![v2-72f694828f0289c138dc4c261ea2995c_hd.jpg][] ![v2-72f694828f0289c138dc4c261ea2995c_hd.jpg 1][][yujiosaka/headless-chrome-crawlergithub.com![图标][v2-901d1e33a838c4c29d63f02a28042443_ipico.jpg]][yujiosaka_headless-chrome-crawler_github.com_v2-901d1e33a838c4c29d63f02a28042443_ipico.jpg]

JS 圈里的一个奇葩，整个爬虫都基于 Chrome ，并且自带一个调度队列。实际测试速度和稳定性均不俗。

--------------------

关注微信公众号「**麻瓜编程**」，回复「**小白书**」获得20万读者喜爱的 《编程小白的第一本Python入门书》

[v2-789379a60c63407ae990572df6e5300a_hd.jpg]: https://pic3.zhimg.com/50/v2-789379a60c63407ae990572df6e5300a_hd.jpg
[v2-789379a60c63407ae990572df6e5300a_hd.jpg 1]: https://pic3.zhimg.com/80/v2-789379a60c63407ae990572df6e5300a_hd.jpg
[v2-68a07c30bc50eb4fd84fd42dccb83878_ipico.jpg]: https://pic1.zhimg.com/v2-68a07c30bc50eb4fd84fd42dccb83878_ipico.jpg
[aio-libs_aiohttp_github.com_v2-68a07c30bc50eb4fd84fd42dccb83878_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/aio-libs/aiohttp
[v2-7011519a301f6bd5318236fa70369600_hd.jpg]: https://pic1.zhimg.com/50/v2-7011519a301f6bd5318236fa70369600_hd.jpg
[v2-7011519a301f6bd5318236fa70369600_hd.jpg 1]: https://pic1.zhimg.com/80/v2-7011519a301f6bd5318236fa70369600_hd.jpg
[v2-386af8fdc217744cdeae557b91541aa1_ipico.jpg]: https://pic2.zhimg.com/v2-386af8fdc217744cdeae557b91541aa1_ipico.jpg
[theelous3_asks_github.com_v2-386af8fdc217744cdeae557b91541aa1_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/theelous3/asks
[v2-19a7b738e5a4a586dd4f8e07c7fa974f_hd.jpg]: https://pic3.zhimg.com/50/v2-19a7b738e5a4a586dd4f8e07c7fa974f_hd.jpg
[v2-19a7b738e5a4a586dd4f8e07c7fa974f_hd.jpg 1]: /images/20211209/511735ecf030453cbeab458595e7720d.png
[v2-eadedbf04e6a53e7e122768374c98785_hd.jpg]: https://pic2.zhimg.com/50/v2-eadedbf04e6a53e7e122768374c98785_hd.jpg
[v2-eadedbf04e6a53e7e122768374c98785_hd.jpg 1]: https://pic2.zhimg.com/80/v2-eadedbf04e6a53e7e122768374c98785_hd.jpg
[v2-903a2393ca82af287d648ae9756efceb_ipico.jpg]: https://pic4.zhimg.com/v2-903a2393ca82af287d648ae9756efceb_ipico.jpg
[vibora-io_vibora_github.com_v2-903a2393ca82af287d648ae9756efceb_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/vibora-io/vibora
[v2-9161e2c036993241e3a2bd4881b8c6c9_hd.jpg]: https://pic2.zhimg.com/50/v2-9161e2c036993241e3a2bd4881b8c6c9_hd.jpg
[v2-9161e2c036993241e3a2bd4881b8c6c9_hd.jpg 1]: https://pic2.zhimg.com/80/v2-9161e2c036993241e3a2bd4881b8c6c9_hd.jpg
[v2-089c20f5424a75fa73cd6cf187ec80e9_ipico.jpg]: https://pic2.zhimg.com/v2-089c20f5424a75fa73cd6cf187ec80e9_ipico.jpg
[miyakogi_pyppeteer_github.com_v2-089c20f5424a75fa73cd6cf187ec80e9_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/miyakogi/pyppeteer
[v2-447b0bb5f28fa6f7af1e285e18c977fb_hd.jpg]: https://pic2.zhimg.com/50/v2-447b0bb5f28fa6f7af1e285e18c977fb_hd.jpg
[v2-447b0bb5f28fa6f7af1e285e18c977fb_hd.jpg 1]: https://pic2.zhimg.com/80/v2-447b0bb5f28fa6f7af1e285e18c977fb_hd.jpg
[v2-a3813433cbd98ee3726a983a5bb77dcc_ipico.jpg]: https://pic1.zhimg.com/v2-a3813433cbd98ee3726a983a5bb77dcc_ipico.jpg
[tryolabs_requestium_github.com_v2-a3813433cbd98ee3726a983a5bb77dcc_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/tryolabs/requestium
[v2-5e4b522866ef8f936409f20651e13ac7_hd.jpg]: https://pic2.zhimg.com/50/v2-5e4b522866ef8f936409f20651e13ac7_hd.jpg
[v2-5e4b522866ef8f936409f20651e13ac7_hd.jpg 1]: /images/20211209/576ed3cac43549a292415143d01e557f.png
[v2-fed7c34aa920227d761fad8418757970_hd.jpg]: https://pic3.zhimg.com/50/v2-fed7c34aa920227d761fad8418757970_hd.jpg
[v2-fed7c34aa920227d761fad8418757970_hd.jpg 1]: /images/20211209/1d5273f7c35d43969127cda14996a16d.png
[v2-fb644b08ecedce00b57c755bf286ad08_hd.jpg]: https://pic3.zhimg.com/50/v2-fb644b08ecedce00b57c755bf286ad08_hd.jpg
[v2-fb644b08ecedce00b57c755bf286ad08_hd.jpg 1]: https://pic3.zhimg.com/80/v2-fb644b08ecedce00b57c755bf286ad08_hd.jpg
[v2-ee995e04120f4e3b4d93a46d6d39d004_ipico.jpg]: https://pic1.zhimg.com/v2-ee995e04120f4e3b4d93a46d6d39d004_ipico.jpg
[HDE_arsenic_github.com_v2-ee995e04120f4e3b4d93a46d6d39d004_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/HDE/arsenic
[v2-507bcf572f33248da810bc9b5febd8be_hd.jpg]: https://pic4.zhimg.com/50/v2-507bcf572f33248da810bc9b5febd8be_hd.jpg
[v2-507bcf572f33248da810bc9b5febd8be_hd.jpg 1]: https://pic4.zhimg.com/80/v2-507bcf572f33248da810bc9b5febd8be_hd.jpg
[v2-d7098190ed232948138c562fe5dcee72_ipico.jpg]: https://pic3.zhimg.com/v2-d7098190ed232948138c562fe5dcee72_ipico.jpg
[lorien_grab_github.com_v2-d7098190ed232948138c562fe5dcee72_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/lorien/grab
[v2-96ab34eabaf179abfdc1a25dd17ee7c6_hd.jpg]: https://pic1.zhimg.com/50/v2-96ab34eabaf179abfdc1a25dd17ee7c6_hd.jpg
[v2-96ab34eabaf179abfdc1a25dd17ee7c6_hd.jpg 1]: /images/20211209/acfc3087da5b4155a18e20c25664c53a.png
[https_github.com_kkyon_botflow_github.com]: https://link.zhihu.com/?target=https%3A//github.com/kkyon/botflow
[v2-7cf4425201d7c0e01a52fbd8687fb881_hd.jpg]: https://pic1.zhimg.com/50/v2-7cf4425201d7c0e01a52fbd8687fb881_hd.jpg
[v2-7cf4425201d7c0e01a52fbd8687fb881_hd.jpg 1]: /images/20211209/99d41858254b4417a46f126beed0813f.png
[https_github.com_howie6879_ruia_github.com]: https://link.zhihu.com/?target=https%3A//github.com/howie6879/ruia
[v2-8816e6136304c1b1bde69daf10db32e2_hd.jpg]: https://pic1.zhimg.com/50/v2-8816e6136304c1b1bde69daf10db32e2_hd.jpg
[v2-8816e6136304c1b1bde69daf10db32e2_hd.jpg 1]: https://pic1.zhimg.com/80/v2-8816e6136304c1b1bde69daf10db32e2_hd.jpg
[v2-6fa6a5388d1acf9a16888ae4b6eebd14_ipico.jpg]: https://pic1.zhimg.com/v2-6fa6a5388d1acf9a16888ae4b6eebd14_ipico.jpg
[gocolly_colly_github.com_v2-6fa6a5388d1acf9a16888ae4b6eebd14_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/gocolly/colly
[v2-72f694828f0289c138dc4c261ea2995c_hd.jpg]: https://pic4.zhimg.com/50/v2-72f694828f0289c138dc4c261ea2995c_hd.jpg
[v2-72f694828f0289c138dc4c261ea2995c_hd.jpg 1]: https://pic4.zhimg.com/80/v2-72f694828f0289c138dc4c261ea2995c_hd.jpg
[v2-901d1e33a838c4c29d63f02a28042443_ipico.jpg]: https://pic4.zhimg.com/v2-901d1e33a838c4c29d63f02a28042443_ipico.jpg
[yujiosaka_headless-chrome-crawler_github.com_v2-901d1e33a838c4c29d63f02a28042443_ipico.jpg]: https://link.zhihu.com/?target=https%3A//github.com/yujiosaka/headless-chrome-crawler