小伙子不讲武德，竟用Python爬取了B站上1.4w条马老师视频数据来分析

约定不等于承诺〃 2022-12-22 09:08 135阅读 0赞

看到标题，

啪的一下你就进来了吧！

如果有经常刷B站的小伙伴，肯定都知道B站鬼畜现在的顶流是谁？

[1024G\_Python、数据分析学习资源，免费送（点击）][1024G_Python]

那必须是当代大师浑元形意太极拳掌门人「马保国」先生啊！

![format_png][]

实话讲，马保国走进大家视野还是他5月份PK被人连续KO三次。

不过现在他在鬼畜区的主要素材却是马保国更早时候的一些视频。

![format_png 1][]

比如2020年一月份，右眼被蹭了一下的马老师面带微笑，为我们生动形象地讲述了健身房里的年轻人是如何不讲武德，偷袭他的故事。

![format_png 2][]

在视频里，他控诉踢馆的年轻人 “ **不讲武德** ” ，劝他 “ **耗子尾汁** ” 。可以作为B站入站题目，建议全文背诵。

B站这个小机灵鬼，甚至还给马老师专门开了专栏，这为我们后续爬取数据也带来了便利。

![format_png 3][]

跟平时爬取B站不太一样，在B站的马保国专栏下，F12可以轻松找到接口。

https://api.bilibili.com/x/web-interface/web/channel/multiple/list?channel_id=3503796&sort_type=hot&page_size=30

解析JSON后我们需要的数据都可以获得。

![format_png 4][]

其中要提到一点，url中的`offest`从解析上一个url的json中获取，如如下图所示。

![format_png 5][]

通过简短的爬虫代码，

很快啊，很快就爬取了1.4万条马保国先生的视频数据。

def get_data(url,headers):
        data_m = pd.DataFrame(columns=['id','name','view_count','like_count','duration','author_name','author_id','bvid'])
        html = requests.get(url,headers=headers).content
        data = json.loads(html.decode('utf-8'))
        offset = data['data']['offset']
        print(offset)
        for j in range(30):
            data_m = data_m.append({'id':data['data']['list'][j]['id'],'name':data['data']['list'][j]['name'],
                                'view_count':data['data']['list'][j]['view_count'],'like_count':data['data']['list'][j]['like_count'],
                                'duration':data['data']['list'][j]['duration'],'author_name':data['data']['list'][j]['author_name'],
                                'author_id':data['data']['list'][j]['author_id'],'bvid':data['data']['list'][j]['bvid']},ignore_index=True)
        return(offset,data_m)

![format_png 6][]

1.4万条数据预览

我们先进行简单的数据整理（播放量有的是万为单位）后，将1.4万个视频按照播放量和点赞量制作了一个散点图。

![format_png 7][]

可以看到什么才是“顶流”的话题，播放量几百万，点赞量几十万的相关视频特别多。

按照播放量排序一下。

![format_png 8][]

第一名就是今年一月份相声泰斗马老师经典单口相声！！！

![format_png 9][]

那按照点赞量呢？![format_png 10][]

第一名是来自鬼畜up主的伊丽莎白鼠“武 林 高 手”！

而懂王与马老师的联动表现也很优秀！

其中几个特效向的表现更是突出！

![format_png 11][]

由于马老师的语录太过经典，我决定再补充爬一下它的弹幕。

# 绘制词云图
    stylecloud.gen_stylecloud(text=' '.join(text1), 
                              collocations=False,
                              font_path=r'‪C:\Windows\Fonts\msyh.ttc',
                              icon_name='fas fa-play-circle',
                              size=653,
                              output_name='马保国词云图.png')
    
    Image(filename='马保国词云图.png')

![format_png 12][]

耗子尾汁真是门面担当！

婷婷、英国大理石、塔门说也夹杂其中。

![format_png 13][]

最后小五想说，没想到马保国这么快就凉了，B站上也爬不到他的信息了，我这还有原始的1.4万条视频数据。

感兴趣的同学可以关注我的公众号【**凹凸数据**】，后台回复“**马保国**”即可获取1.4万条视频原始数据，估计全网独一份，怎么用随你们了！

## 福利时间 ##

[1024G\_Python、数据分析学习资源，免费送（点击）][1024G_Python]

谢谢大家观看，求个一键三连

[1024G_Python]: https://sourl.cn/TkMQet
[format_png]: /images/20221120/29ab81e7b58e4b75941ab893d22e2ccb.png
[format_png 1]: /images/20221120/0b15ec26d2034e05874c774bdaf40fa1.png
[format_png 2]: /images/20221120/43aaa938d0ae402a97b2fbbeeb3f9e0e.png
[format_png 3]: /images/20221120/d67cd9150f634e00acb4f20045cb9ec4.png
[format_png 4]: /images/20221120/d49379aafdcc4650b9e0d63f66466859.png
[format_png 5]: /images/20221120/423d2df217b64c3aa5cca173deec103a.png
[format_png 6]: /images/20221120/09f87e3fbefc4a64a7e361809d3f6160.png
[format_png 7]: /images/20221120/eaa5365a24634886bfc4bcbd1effd0f4.png
[format_png 8]: /images/20221120/78677a7dba914886983f1c62254f4149.png
[format_png 9]: /images/20221120/59d0b12051784a97a6421017cb6807de.png
[format_png 10]: /images/20221120/98ca97eb02e1489a920feb9e169a0465.png
[format_png 11]: /images/20221120/5a7201df67ec405eb4a4bc0228fabc38.png
[format_png 12]: /images/20221120/727b98bb881a40868c4ff407bc1cb269.png
[format_png 13]: /images/20221120/c0572a60099a44fb90da89c064cd7358.png