爬取av_用 Python 爬取B站视频

忘是亡心i 2023-01-07 10:08 189阅读 0赞

**这个夏天，《哪吒之魔童降世》碾压其他暑期档电影，成为最强黑马。我身边的朋友，不是已经N刷了这部电影，就是在赶去N刷的路上。从票房上也可窥见一斑：**

![622f7f97891fce867e0e6e3e8258c8b2.png][]

**数据爬取**

**在浏览器开发者模式CTRL+F很容易就能找到所需要的信息，就在页面源码中：**

![4eb5c11a067390cf46a6ff85b1481108.png][]

**因此我们用beautifulsoup库就能快速方便地获取想要的信息啦。**

**因为B站视频数量有限定，每次搜索只能显示20条\*50页=1000个视频信息。**

![2755e87af44d9eca923a944c311ba97f.png][]

**为了尽可能多的获取视频信息，我另外还选了“最多点击”“最新发布”“最多弹幕”和“最多收藏”4个选项。**

![97315baabdfbb6cf233795d714a9a5ec.png][]

*  http://search.bilibili.com/all?keyword=哪吒之魔童降世&from\_source=nav\_search&order=totalrank&duration=0&tids\_1=0&page=\{\}
 *  http://search.bilibili.com/all?keyword=哪吒之魔童降世&from\_source=nav\_search&order=click&duration=0&tids\_1=0&page=\{\}
 *  http://search.bilibili.com/all?keyword=哪吒之魔童降世&from\_source=nav\_search&order=stow&duration=0&tids\_1=0&page=\{\}
 *  http://search.bilibili.com/all?keyword=哪吒之魔童降世&from\_source=nav\_search&order=dm&duration=0&tids\_1=0&page=\{\}
 *  http://search.bilibili.com/all?keyword=哪吒之魔童降世&from\_source=nav\_search&order=pubdate&duration=0&tids\_1=0&page=\{\}

**5个URL，一共爬取5000条视频，去重之后还剩下2388条信息。**

![978100b63b8989149efa5895fe509580.png][]

**为了得到“转评赞”数据，我还以视频id里面的数字(去掉“av”)为索引，遍历访问了每个视频页面获取了更详细的数据，最终得到以下字段：**

![0f5bd597332ea071abc915d32a06331e.png][]

**数据分析**

![61b63b20c165e251acc2f6a905c8e2e1.png][]

**电影在7月18、19日就进行了全国范围的点映，正式上映时间为7月26日，在这之后相关视频数量有明显的上升。**

**在这时间之前的，最早发布时间可以追溯到2018年11月份，大部分都是预告类视频：**

![909c8e9632d21013ff8ad884964d16ee.png][]

**在8月7日之后视频数量猛增，单单8月7日一天就新上传了319个相关视频。**

**从标题名字中我们可以大致了解视频的内容：**

![239e317bda87f1bcf2cd4a9a122c5ec8.png][]

![b84cbf10071ebb07181fa9b5f085d167.png][]

**毫无疑问，“哪吒”和“敖丙”作为影片两大主角是视频的主要人物；因为他们同生共患难的情谊，“藕饼”(“哪吒+敖丙”组合)也是视频的关键词；除此之外，“国漫”也是一大主题词，毕竟我们这次是真正地被我们的国产动漫震撼到了。**

![7869639c0a6d00acf0cedb2276f875a6.png][]

**实现代码**

bilibili.py

bilibili\_danmu.py.

bilibili\_detailpage.py

bilibili\_search.py

[622f7f97891fce867e0e6e3e8258c8b2.png]: /images/20221119/2663cff2ed4e4dfca87cfd03544fa5fa.png
[4eb5c11a067390cf46a6ff85b1481108.png]: https://img-blog.csdnimg.cn/img_convert/4eb5c11a067390cf46a6ff85b1481108.png
[2755e87af44d9eca923a944c311ba97f.png]: https://img-blog.csdnimg.cn/img_convert/2755e87af44d9eca923a944c311ba97f.png
[97315baabdfbb6cf233795d714a9a5ec.png]: https://img-blog.csdnimg.cn/img_convert/97315baabdfbb6cf233795d714a9a5ec.png
[978100b63b8989149efa5895fe509580.png]: https://img-blog.csdnimg.cn/img_convert/978100b63b8989149efa5895fe509580.png
[0f5bd597332ea071abc915d32a06331e.png]: https://img-blog.csdnimg.cn/img_convert/0f5bd597332ea071abc915d32a06331e.png
[61b63b20c165e251acc2f6a905c8e2e1.png]: https://img-blog.csdnimg.cn/img_convert/61b63b20c165e251acc2f6a905c8e2e1.png
[909c8e9632d21013ff8ad884964d16ee.png]: https://img-blog.csdnimg.cn/img_convert/909c8e9632d21013ff8ad884964d16ee.png
[239e317bda87f1bcf2cd4a9a122c5ec8.png]: https://img-blog.csdnimg.cn/img_convert/239e317bda87f1bcf2cd4a9a122c5ec8.png
[b84cbf10071ebb07181fa9b5f085d167.png]: https://img-blog.csdnimg.cn/img_convert/b84cbf10071ebb07181fa9b5f085d167.png
[7869639c0a6d00acf0cedb2276f875a6.png]: https://img-blog.csdnimg.cn/img_convert/7869639c0a6d00acf0cedb2276f875a6.png