如何爬取B站视频弹幕

柔情只为你懂 2022-11-15 11:43 309阅读 0赞

### 目录 ###

*  所需Python库
 *  爬取视频名称和UP主信息
 *  爬取弹幕信息
 *  完整代码

# 所需Python库 #

*  `re`：正则表达式模块。
 *  `requests`：爬虫库。
 *  `bs4`：解析HTML和XML时需要用到。

如果没有上述Python库，可以使用pip命令或conda命令安装，这里不再赘述。

# 爬取视频名称和UP主信息 #

这一步非常简单，我们打开想要爬取信息的视频，把鼠标放在视频名称上，单击右键，选择“检查元素”（这里我使用的是Microsoft Edge浏览器，不同浏览器可能略有区别），即可发现视频名称信息在`<span>`标签。UP主信息同理。我们只需要向网页发出get请求，解析返回的HTML即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70]  
代码如下：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                             'Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'}
    
    # 获取视频名称和作者
    url = 'https://www.bilibili.com/video/BV1f4411M7QC?from=search&seid=13006207604878782683'
    response = requests.get(url, headers)
    response.encoding = 'utf-8'
    page_text = response.text
    soup = BeautifulSoup(page_text, 'lxml')
    video_title = soup.find('span', class_='tit tr-fix').text
    print('视频名称：' + video_title)
    uploader = soup.find('a', attrs={ 'report-id': 'name'}).text.strip()
    print('UP主：' + uploader)

# 爬取弹幕信息 #

哔哩哔哩提供的弹幕接口为`https://api.bilibili.com/x/v1/dm/list.so?oid=<视频的cid>`，我们只需要将`oid=`后面的cid填写进去，就可以得到保存cid对应视频的弹幕的XML。  
那么cid该如何获取呢？  
很简单，按下F12键，选择“网络”（有些浏览器是“Network”），点击刷新，在搜索框中输入`heartbeat`，并播放视频。当“名称”一栏中出现`heartbeat`时，暂停视频，点击`heartbeat`，即可在其中的“表单数据”中找到视频的cid。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 1]  
在浏览器的地址栏输入弹幕接口，将接口中视频的cid补充完整，得到下图所示的结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 2]  
可以看到，所有的弹幕信息都保存在XML的`<d>`标签中。接下来就是编写代码进行爬取和写入文件了。

# 获取弹幕文件
    cid = '95749546'
    xml = 'https://api.bilibili.com/x/v1/dm/list.so?oid={}'.format(cid)
    response = requests.get(xml, headers)
    response.encoding = 'utf-8'
    xml_text = response.text
    soup = BeautifulSoup(xml_text, 'lxml')
    barrages = [re.sub(r'\s+', '', bar.text) for bar in soup.find_all('d')]
    
    # 查看弹幕数量
    print('弹幕数量：' + str(len(barrages)))
    
    # 将弹幕写入文件
    with open('./barrages.txt', 'w', encoding='utf-8') as output_file:
        for bar in barrages:
            output_file.write(bar + '\n')
    print('弹幕信息已成功写入文件！')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 3]

# 完整代码 #

""" Author: Chen Chunhan Date : 2021-3-31 Wed. 提示：如果想爬取其他视频的弹幕信息请更改url和cid """
    import re
    
    from bs4 import BeautifulSoup
    import requests
    
    
    headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                             'Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'}
    
    # 获取视频名称和作者
    url = 'https://www.bilibili.com/video/BV1f4411M7QC?from=search&seid=13006207604878782683'
    response = requests.get(url, headers)
    response.encoding = 'utf-8'
    page_text = response.text
    soup = BeautifulSoup(page_text, 'lxml')
    video_title = soup.find('span', class_='tit tr-fix').text
    print('视频名称：' + video_title)
    uploader = soup.find('a', attrs={ 'report-id': 'name'}).text.strip()
    print('UP主：' + uploader)
    
    # 获取弹幕文件
    cid = '95749546'
    xml = 'https://api.bilibili.com/x/v1/dm/list.so?oid={}'.format(cid)
    response = requests.get(xml, headers)
    response.encoding = 'utf-8'
    xml_text = response.text
    soup = BeautifulSoup(xml_text, 'lxml')
    barrages = [re.sub(r'\s+', '', bar.text) for bar in soup.find_all('d')]
    
    # 查看弹幕数量
    print('弹幕数量：' + str(len(barrages)))
    
    # 将弹幕写入文件
    with open('./barrages.txt', 'w', encoding='utf-8') as output_file:
        for bar in barrages:
            output_file.write(bar + '\n')
    print('弹幕信息已成功写入文件！')

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70]: /images/20221022/65abb40f773b405597a5d5f3329a9071.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210331202622974.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210331203108768.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210331203544707.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70