用一行代码在几秒钟内抓取任何网站

超、凢脫俗 2024-04-24 20:36 61阅读 0赞

如果你正在寻找最强大的 Python 抓取工具？不要再看了！这一行代码将帮助你立即启动并运行。

### **Scrapeasy** ###

Scrapeasy 是一个 Python 库，可以轻松抓取网页并从中提取数据。它可用于从单个页面抓取数据或从多个页面抓取数据。它还可用于从 PDF 和 HTML 表格中提取数据。

Scrapeasy 让你只用一行代码就可以用 python 抓取网站，它非常便于使用并为你处理一切。你只需指定要抓取的网站以及你想要接收什么样的数据，其余的交给 Scrapeasy。

Scrapeasy Python 爬虫在编写时考虑到了快速使用。它提供以下主要功能：

*  一键抓取网站——不仅仅是单个页面。
 *  最常见的抓取活动（接收链接、图像或视频）已经实现。
 *  从抓取的网站接收特殊文件类型，如 .php 或 .pdf 数据。

### **如何使用 Scrapeasy** ###

#### **通过 pip 下载** ####

$ pip install scrapeasy

#### **使用它** ####

Scraeasy 考虑到了易用性。首先，从 Scrapeasy 导入网站和页面

from scrapeasy import Website, Page

#### **初始化网站** ####

首先，让我们创建一个新的网站对象。对于这种方式，只需提供主页的 URL。我将使用我多年前创建的网站的 URL：

web =Website("https://tikocash.com/solange/index.php/2022/04/13/how-do-you-control-irrational-fear-and-overthinking/
    ")

#### **获取所有子站点的链接** ####

好的，现在我们的网站已经初始化，我们对 tikocash.com 上存在的所有子网站感兴趣，要找出这一点，请让 Web 对象接收所有子页面的链接。

links = web.getSubpagesLinks()

根据你的本地互联网连接和你正在抓取的网站的服务器速度，此请求可能需要一段时间，确保不要使用这种非常庞大的方法抓取整个网页。

但回到链接获取：通过调用 .getSubpagesLinks()，用你请求所有子页面作为链接，并将收到一个 URL 列表。

links2 = web.getSubpagesLinks()

你可能已经注意到缺少典型的 http://www.-stuff。这是没有目的的，并且使你的生活更容易进一步使用链接。但请确保——当你真正想在浏览器中或通过请求调用它们时——请在每个链接前面添加 http://www. 。

#### **查找媒体** ####

让我们尝试找到指向 fahrschule-liechti.com 放置在其网站上的所有图像的链接。

我们通过调用 .getImages() 方法来做到这一点。

images = web.getImages()

响应将包括指向所有可用图像的链接。

#### **下载媒体** ####

现在让我们做一些更高级的事情。我们喜欢 tikocash.com 在其网站上的图片，所以让我们将它们全部下载到我们的本地磁盘。听起来工作量是不是很大？其实很简单！

web.download("img", "fahrschule/images")

首先，我们定义通过关键字 img 下载所有图像媒体。接下来，我们定义输出文件夹，图像应保存到的位置。就是这样！运行代码，看看发生了什么。几秒钟之内，你就收到了 Tikocash.com 上的所有图片。

#### **获取链接** ####

接下来，让我们找出 tikocash.com 链接到哪些页面。为了获得总体概述，让我们找出它链接到的其他网站，出于这个原因，我们指定只获取域链接。

domains = web.getLinks(intern=False, extern=False, domain=True)

因此，我们得到了在 tikocash.com 上链接的所有链接的列表。

好的，但现在我们想进一步了解这些链接，我们如何做到这一点？

#### **获取链接域** ####

好吧，更详细的链接只不过是外部链接，所以，我们做了同样的请求，但这次包括外部，但不包括域。

domains = web.getLinks(intern=False, extern=True, domain=False)

在这里，我们将详细了解所有外部链接。

#### **初始化页面** ####

好的，到目前为止，我们已经看到了很多关于网站的东西，但是，我们还没有发现 Page 是做什么的。

好吧，如前所述，该页面只是网站中的一个站点，让我们通过初始化W3schools页面，来尝试不同的示例。

w3 = Page("https://www.w3schools.com/html/html5_video.asp")

如果你还没有猜到，你很快就会明白为什么我选择了这个页面。

#### **下载视频** ####

是的，你没听错。Scrapeasy 可让你在几秒钟内从网页下载视频，让我们来看看如何。

w3.download("video", "w3/videos")

是的，仅此而已。只需指定要将所有视频媒体下载到输出文件夹 w3/videos 中，就可以开始了。当然，你也可以只收到视频的链接，然后再下载，但这会不太酷。

video_links = w3.getVideos()

#### **下载其他文件类型（如 pdf 或图片）** ####

现在让我们更笼统地说，下载特殊文件类型，如 .pdf、.php 或 .ico 怎么样？使用通用的 .get() 方法接收链接，或使用文件类型作为参数的 .download() 方法。

calendar_links = Page("https://tikocash.com").get("php")

到这里就完毕。

现在让我们下载一些 PDF。

Page("http://mathcourses.ch/mat182.html").download("pdf", "mathcourses/pdf-files")

总之，Python 是一种通用语言，只需一行代码即可在几秒钟内抓取任何网站上的内容。

因此，这使其成为网络抓取和数据挖掘的强大工具。

因此，如果你需要从网站中提取数据，Python 是适合你的工具。

### **更多精彩教程欢迎B站搜索“千锋教育”** ###

千锋教育Python全套视频教程，轻松掌握Excel、Word、PPT、邮件、爬虫、office办公自动化（宋如宁主讲）

发表评论取消回复

表情：

评论列表（有 0 条评论，61人围观）

还没有评论，来说两句吧...

相关阅读

相关 AI 驱动的代码在 90 秒内完成

凭借对多种编程语言的支持，Tabnine 可以适应您选择的编码语言，无论您的编码堆栈如何，您都可以从其 AI 驱动的建议中受益。凭借其全线全功能建议、与流行代码编辑器的无...

雨点打透心脏的1/2处/ 2024年05月02日 20:08/ 0 赞/ 86 阅读

相关用一行代码在几秒钟内抓取任何网站

这是没有目的的，并且使你的生活更容易进一步使用链接。好的，现在我们的网站已经初始化，我们对 tikocash.com 上存在的所有子网站感兴趣，要找出这一点，请让 Web...

超、凢脫俗/ 2024年04月24日 20:36/ 0 赞/ 62 阅读

相关一行代码“黑”掉任意网站

> 欢迎访问我的博客地址 : [博客地址][Link 1] > 只需一行代码，轻轻一点就可以把任意网站变成暗黑模式。原理 > 1、document.document

系统管理员/ 2024年04月08日 09:12/ 0 赞/ 71 阅读

相关用一行代码在几秒钟内抓取任何网站

如果你正在寻找最强大的 Python 抓取工具？不要再看了！这一行代码将帮助你立即启动并运行。 Scrapeasy Scrapeasy 是一个 Python 库，可以轻

太过爱你忘了你带给我的痛/ 2024年02月05日 18:57/ 0 赞/ 66 阅读

相关 Go 每秒钟打印一次时间、3 秒后退出每秒钟打印一次时间

阅读目录 3 秒后退出每秒钟打印一次时间每秒钟打印一次时间 3 秒后退出每秒钟打印一次时间 package main im

旧城等待，/ 2023年10月11日 22:36/ 0 赞/ 62 阅读

相关解决Hbase启动后，hmaster会在几秒钟后自动关闭（停掉）！！！

兜兜转转，尝试了好多种方法，终于是好了，真的是没有度娘解决不了的问题！哈哈哈哈 Step 1:在日志（身为小白白的我，一开始日志在哪我都不知道！路径：/usr/local/h

爱被打了一巴掌/ 2023年02月20日 07:06/ 0 赞/ 54 阅读

相关我用 Python 处理3万多条数据，只要几秒钟……

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：鼠 PS：如有需要Python学习

末蓝、/ 2023年02月15日 15:54/ 0 赞/ 38 阅读

相关 iskysoft中文版_使用iSkysoft Toolbox轻松实现iOS数据恢复：几秒钟内恢复丢失的数据...

![a6140917fb4f10936a67f42c3f7f5a2e.png][] iskysoft中文版 We all have experienced that dre

Bertha 。/ 2022年12月08日 04:45/ 0 赞/ 363 阅读

相关一行代码：你的纯文本秒变Markdown

点击上方 [Java后端][Java]，选择设为星标优质文章，及时送达 -------------------- 来自：公众号机器之心 > 只要你有纯文本编

╰半夏微凉°/ 2021年08月28日 22:13/ 0 赞/ 393 阅读

相关 photoshop动作合集_如何使用Photoshop动作在几秒钟内完成数以百计的复杂照片编辑...

![photoshop动作合集][photoshop] photoshop动作合集 ![sshot-238][] Have a huge folder of images

ゝ一世哀愁。/ 2021年07月27日 02:04/ 0 赞/ 262 阅读