用Python爬取腾讯视频弹幕

待我称王封你为后i 2022-12-16 10:55 484阅读 0赞

**1.网页分析**

#  #

本文以爬取《脱口秀大会 第3季》最后一期视频弹幕为例，首先通过以下步骤找到存放弹幕的真实url。

![format_png][]

通过删减各参数，发现仅有timestamp参数的变化会影响弹幕数据的爬取，且timestamp参数是首项为15，公差为30的等差数列。可以大胆猜测腾讯视频每30秒更新一页弹幕数据，该视频长度为12399秒。而数据格式为标准的json格式，因此json.loads直接解析数据即可。

**2.爬虫实战**

import requests
    import json
    import time
    import pandas as pd
    
    df = pd.DataFrame()
    for page in range(15, 12399, 30):
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
        url = 'https://mfm.video.qq.com/danmu?otype=json&timestamp={}&target_id=5938032297%26vid%3Dx0034hxucmw&count=80'.format(page)
        print("正在提取第" + str(page) + "页")
        html = requests.get(url,headers = headers)
        bs = json.loads(html.text,strict = False)  #strict参数解决部分内容json格式解析报错
        time.sleep(1)
        #遍历获取目标字段
        for i in bs['comments']:
            content = i['content']  #弹幕
            upcount = i['upcount']  #点赞数
            user_degree =i['uservip_degree'] #会员等级
            timepoint = i['timepoint']  #发布时间
            comment_id = i['commentid']  #弹幕id
            cache = pd.DataFrame({'弹幕':[content],'会员等级':[user_degree],
                                  '发布时间':[timepoint],'弹幕点赞':[upcount],'弹幕id':[comment_id]})
            df = pd.concat([df,cache])
    df.to_csv('tengxun_danmu.csv',encoding = 'utf-8')
    print(df.shape)

## **3.数据预览** ##

![format_png 1][]

长按识别下方二维码，并关注公众号

![format_png 2][]

1.回复“**PY**”领取**1GB Python数据分析资料**

2.回复“**BG**”领取**5GB 名企数据分析报告**

[format_png]: /images/20221123/c8ee92efb8354fc9ba449f98ff5e56d4.png
[format_png 1]: /images/20221123/94d61e21687344cb970894fc1a390fb6.png
[format_png 2]: /images/20221123/36c045f421ed40498668a73b1e8d0378.png