用Python爬取B站视频弹幕

快来打我* 2022-12-15 11:10 335阅读 0赞

via：菜J学Python

众所周知，弹幕，即在网络上观看视频时弹出的评论性字幕。不知道大家看视频的时候会不会点开弹幕，于我而言，弹幕是视频内容的良好补充，是一个组织良好的评论序列。通过分析弹幕，我们可以快速洞察广大观众对于视频的看法。

下面是通过一个关于《八佰》的视频弹幕数据，绘制了如下词云图，感觉效果还是可以的。

![format_png][]

海量的弹幕数据不仅可以绘制此类词云图，还可以调用百度AI进行情感分析。

那么，我们该如何获取弹幕数据呢？

本文运用Python爬取B站视频弹幕，让你轻松获取主流视频网站弹幕数据。

**1.网页分析**

# 本文以爬取up主硬核的半佛仙人发布的《你知道奶茶加盟到底有多坑人吗？》视频弹幕为例，首先通过以下步骤找到存放弹幕的真实url。 #

![format_png 1][]

简单分析url参数，很显然，date参数表示发送弹幕的时间，其他参数均无变化。因此，只需要改变date参数，然后通过beautifulsoup解析到弹幕数据即可。

**2.爬虫实战**

import requests #请求网页数据
    from bs4 import BeautifulSoup #美味汤解析数据
    import pandas as pd
    import time
    from tqdm import trange #获取爬取速度
    
    def get_bilibili_url(start, end):
        url_list = []
        date_list = [i for i in pd.date_range(start, end).strftime('%Y-%m-%d')]
        for date in date_list:
            url = f"https://api.bilibili.com/x/v2/dm/history?type=1&oid=141367679&date={date}"
            url_list.append(url)
        return url_list
    
    def get_bilibili_danmu(url_list):
        headers = {
            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
            "cookie": "你自己的" #Headers中copy即可
                   }
    
        file = open("bilibili_danmu.txt", 'w')
        for i in trange(len(url_list)):
            url = url_list[i]
            response = requests.get(url, headers=headers)
            response.encoding = 'utf-8'
            soup = BeautifulSoup(response.text)
            data = soup.find_all("d")
            danmu = [data[i].text for i in range(len(data))]
            for items in danmu:
                file.write(items)
                file.write("\n")
            time.sleep(3)
        file.close()
    
    
    if __name__ == "__main__":
        start = '9/24/2020' #设置爬取弹幕的起始日
        end = '9/26/2020' #设置爬取弹幕的终止日
        url_list = get_bilibili_url(start, end)
        get_bilibili_danmu(url_list)
        print("弹幕爬取完成")

**3.数据预览**

![format_png 2][]

长按识别下方二维码，并关注公众号

![format_png 3][]

1.回复“**PY**”领取**1GB Python数据分析资料**

2.回复“**BG**”领取**5GB 名企数据分析报告**

[format_png]: /images/20221123/d7ab379e8f2948c5836e469a575b819e.png
[format_png 1]: /images/20221123/03b66947bcd0442fa520d15fe492a3c3.png
[format_png 2]: /images/20221123/1d608559dd9046c080e67152471947b1.png
[format_png 3]: /images/20221123/5ad5c5c06b3e4ef49f641f008976c69a.png