Python爬虫初学：爬取电影天堂数据

男娘i 2022-12-23 07:11 339阅读 0赞

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于IT共享之家，作者：IT共享者

![8f1c5220672339f29b81662c77901863.png][]

# 【一、项目背景】 #

相信大家都有一种头疼的体验，要下载电影特别费劲，对吧？要一部一部的下载，而且不能直观的知道最近电影更新的状态。

今天小编以电影天堂为例，带大家更直观的去看自己喜欢的电影，并且下载下来。

![512fb18daf49815df3efadf5df20dd53.png][]

# 【二、项目准备】 #

首先 我们第一步我们要安装一个Pycharm的软件。Pycharm软件安装可以看这篇教程：Python环境搭建—安利Python小白的Python和Pycharm安装详细教程。

电影天堂网的网址：

https://www.ygdy8.net/html/gndy/dyzz/list_23_1.html

我们需要下载几个库，怎么下载呢？首先打开Pycharm点击File再点开setting。

![5f3970b978359cd5b8b671cba25ea6c8.png][]

打开后会出现这个界面点击你的项目名字（project：（你的项目名字））project interpreter点击加号下载我们需要的库本项目需要（requests，requests，time，re模块），如下图所示。

![ee0c2d8388a3835e2b3a52367a999ca8.png][]

如果不会加载解释器的话，可以参考这篇手把手教程：安装好Pycharm后如何配置Python解释器简易教程。

如果还缺少相应库的话，可以按照如下方式进行下载和安装。

![146a8ba9088d26c7124f049079f02b0c.png][]

# 【三、项目实施】 #

我们需要（requests，requests，time，re模块 ），如下图所示。

![af0ddd82eb454ed633fdc98fc494845c.png][]

用封装方法去实现各个部分功能。首先要写一个框架 ：构造一个类FilmSky 然后定义一个—init方法里继承（self），再定义一个主方法（main）。最后实现这个main方法。代码如下：

![5f971b14c9b234fa8c8fcf470ef1ff63.png][]

这个time是用于防止反爬，设置的时间延时。

首先我们来分析一下这个网址下一页得到特点。

![d195fa0525bd05ba44fc0b38fa92c784.png][]

通过点击了三页我们会发现地址都是在原有的基础上“23—3，4，5”这样的变化。

我们可以用\{\}去代替变化的值就像这样：

https://www.ygdy8.net/html/gndy/dyzz/list_23_{}.html

这样我们在inti方法初始化url地址和构造请求头。

![d4f1e1547dc88624d78fb83856bec418.png][]

在主方法main函数里边用for循环实现遍历网址。

![edffcd3152c2dd445d4eee60f524e5dd.png][]

得到下图这样的结果：

![120fd28bfea6def1dff0445075abf07b.png][]

说明你已经成功一半了加油！！

现在我们需要对这些网址发生请求，为了更直观的看出来，我们用一个类写。

我们用requests发生请求 这个网站的编码是gbk （怎么看网站的编码?）。

打开一个网站右键检查在header的标签，以这个网站为例，可以看到charset=“gb312”。

这个gb2312就是编码 我们常见的编码方式有2种（utf\_8, gbk）。

![3563a4e0f029fc3d0321783cc73cccf2.png][]

![c8eb0975cb8e6308f633b8b315ad9228.png][]

我们可以验证一下是不是真的请求到了。使用Print（html）看到这个结果(一个完整的html网页)说明请求成功。

![4aec243632fffeca21aefffbff4e8994.png][]

我们再定义这个方法（对我们的网页代码进行解析）。

我们用正则表达式 来解析数据 我们右键检查可以看到我们要的网站在table里面的<tr>标签的<b>标签的<a>标签的href。

![70fd6df0413b9ec8045e39d960b72d75.png][]

所以我们可以先找到table，一层一层的去找，可以参考一下下面的图。

![e5fb69ae7c7206519f18ecb5f1415a08.png][]

正则表达式就是(.\*？)里面就是你想要得到的内容，“.\*？”就是可以省略其中的标签，取到你想要地区那一层。for循环遍历得到每个网址，点击这些网址我们要对二级页面发生请求，并解析它。

因为在网页网址上的链接有一些是空的 ，所以这样会导致电影下载的链接不匹配。所以我们要加个判断，如果下载链接的长度大于0那么就照常显示，否则就给它一个空值，这样就不会不对应了。最后返回这个结果，如下图所示。

![427f354b57b45dadb5add45247169a42.png][]

点开第二级页面如图右键点击下载链接，如下图所示：

![9b4d963edd837d2a6c51caf70411fcc1.png][]

![fae5b77df56b1c23c31d09e471d6d03a.png][]

我们用正则表达式解析 得到我们下载链接地址，如下图所示：

![a207cac9eeadf6bafb625534be563358.png][]

看去了不是很美观，我们把链接处理一下，如下图所示：

![76955a2e132b6b33d8dadb411b341a27.png][]

得到结果，如下图所示：

![89a52ba3eb76d10e97950396f23e4a67.png][]

最后我们用把数据保存在一个字典加上下载链接和电影名字：

![fea735b56b2609a665e4717b4ab90464.png][]

最后我们优化一下请求的代码有点重复 我们优化一下；

用一个值去保存说明请求头的内容以后请求我们只有调用这个方法进行请求就好，如下图所示：

![6e38434a987e3b9d609143ac67e1a6c9.png][]

程序运行之后可以看到效果图，如下图所示：

![904ae2f05963f161025709702d53843a.png][]

点击蓝色的链接就可以这个下载（要下载迅雷 迅雷下载更快哇）

这样是不是能够更直观的看出你要电影啦？点击即可下载噢！

# 【五、总结】 #

1. 本文基于Python网络爬虫技术，提供了一种更直观的去看自己喜欢的电影并且方便下载的方式。

2. 不建议抓取太多，容易使得服务器负载。

[8f1c5220672339f29b81662c77901863.png]: /images/20221120/1f259be169aa497c9e618f54f0cc4ac7.png
[512fb18daf49815df3efadf5df20dd53.png]: /images/20221120/c1474ffe57d641b0b19da6308f20616f.png
[5f3970b978359cd5b8b671cba25ea6c8.png]: /images/20221120/a32212f8cbc24ad98ec1095041b371ab.png
[ee0c2d8388a3835e2b3a52367a999ca8.png]: /images/20221120/ecfbdd33575847b1b33fc267d5cf77a4.png
[146a8ba9088d26c7124f049079f02b0c.png]: /images/20221120/092b342ea6eb4a9889de08b849a8317d.png
[af0ddd82eb454ed633fdc98fc494845c.png]: /images/20221120/a232f868e2734144a436e0643f721b6a.png
[5f971b14c9b234fa8c8fcf470ef1ff63.png]: /images/20221120/1416fbf6d53e43ce8841d31b7c49ce68.png
[d195fa0525bd05ba44fc0b38fa92c784.png]: /images/20221120/e624a2843c374e1aae14f825c1098680.png
[d4f1e1547dc88624d78fb83856bec418.png]: /images/20221120/76898b44574247489648d5057e471438.png
[edffcd3152c2dd445d4eee60f524e5dd.png]: /images/20221120/644f2a3918b94f2aa3a87d29cc94b991.png
[120fd28bfea6def1dff0445075abf07b.png]: /images/20221120/43d2b7fdd64b4bb6be0dc11cec1c7f3a.png
[3563a4e0f029fc3d0321783cc73cccf2.png]: /images/20221120/ed6498d4174a49d8b2065a628c625446.png
[c8eb0975cb8e6308f633b8b315ad9228.png]: /images/20221120/2df8e04ca0014fe39322e9fa5e38e636.png
[4aec243632fffeca21aefffbff4e8994.png]: /images/20221120/817d112e591f40d298ddecb385ec4fcc.png
[70fd6df0413b9ec8045e39d960b72d75.png]: /images/20221120/41c3b274c6d14125a08a282c5449eb9f.png
[e5fb69ae7c7206519f18ecb5f1415a08.png]: /images/20221120/05873b359fcb4fc4bae34ca5fc7fcb43.png
[427f354b57b45dadb5add45247169a42.png]: /images/20221120/95d0f474d5f4469b8433fdd138831fdf.png
[9b4d963edd837d2a6c51caf70411fcc1.png]: /images/20221120/a4dc9cf1ef0b4038b625d10b3257ee02.png
[fae5b77df56b1c23c31d09e471d6d03a.png]: /images/20221120/5a0da2f0f0a1488798419e697a48e07a.png
[a207cac9eeadf6bafb625534be563358.png]: /images/20221120/c742fa3a8bcf497dab78ce49cd0c3c5c.png
[76955a2e132b6b33d8dadb411b341a27.png]: /images/20221120/cab9bbc5292940e6853b67abf004c6df.png
[89a52ba3eb76d10e97950396f23e4a67.png]: /images/20221120/8ff30cb3cd3c4c8ca38355e348c91fb3.png
[fea735b56b2609a665e4717b4ab90464.png]: /images/20221120/530f0aafb2444d6c90ac205cb463e71d.png
[6e38434a987e3b9d609143ac67e1a6c9.png]: /images/20221120/53309c816b3745839c0369daf67ef3a1.png
[904ae2f05963f161025709702d53843a.png]: https://img-blog.csdnimg.cn/img_convert/904ae2f05963f161025709702d53843a.png