如何分析爱奇艺弹幕数据——pandas

Bertha 。 2022-12-27 11:30 230阅读 0赞

## 爱奇艺弹幕实战： ##

谈起弹幕，我们首先需要获得哪些能够分析的字段呢？毫无疑问，**弹幕评论绝对是核心**，围绕着弹幕评论，我们可以延伸出我们还需要发弹幕的用户id，用户名称，获得的赞，并且在我们统计多集数据汇总时，我们还需要考虑第几集；更全面者，我们还可以获取发弹幕时的标签name，这个可以作为我们评判这些用户等级的一个指标，当然这个也不科学，有些vip用户并没有设置用弹幕标签name，所以这一点值得商榷。除了这些基本的以外，根据情感分析，我们还需要获得发弹幕的时间以及精确到小时，这个为后面的情感分析可以提供很大的帮助。

总结起来，无非就是：\*\*episode name\_id name label\_name date contents likeCount \*\*这7个主要的字段

接下来问题又来了，弹幕分析我们可以分析些啥呢？

首先是明确你的目的，但是实际上我们有着一些通用的需求，并且我们可以借助pandas去一步步地剖析：

#先建立模块,读取数据,了解数据基本信息
    import pandas as pd
    df = pd.read_csv('data.csv',engine='python',encoding='utf-8')
    df.head()
    df.info()#可以检查空值null，行列数，字段列类型
    df.shape
    df.discribe()
    #聚合函数 max,min,count,mean,sum等等

假设：我们爬取了某电视剧1-10级的弹幕，如何批量读取这里就先不展开了。

### 1.弹幕发射器： ###

试问你在追剧时在一集中会发多少弹幕？如果你是一个弹幕狂热份子，那肯定不少于一次；所以，在1-10集的弹幕中，绝对存在同一个name发出的多条弹幕。我们可以对弹幕发送者name进行分组统计，得到每个name的累计发送弹幕数

df.name.value_counts() or df.groupby('name')['随便指定某一列'].count()

用户name很多，但是我们可以指定top10，但是这样的分析感觉没有什么结论。但是如果你的top10内的用户的累计发送弹幕数比较大时，我们可以把它单独拿出来进行分析

针对上面的字段，我们可以对单一的某个name进行时间上的情感，维度分析以及集数的top1用户每一集发送弹幕的数量

总结：对弹幕发送者name进行分组统计，得到每个name的累计发送弹幕数，指定top10，分析top1用户每一集发送弹幕的数量

### 2.每一集的最高赞以及每一集最多赞的评论： ###

弹幕点赞对于你们来说可能是习以为常的。对于likecount，我们可以从集数、contents去分析

df_like = df[df.groupby(['episode'])['likeCount'].rank(method="first", ascending=False)==1].reset_index()[['episode','contents','likeCount']]
    df_like.columns = ['剧集','弹幕','赞']
    df_like
    
    df[ ][ ]
    对于df里面的行来说，我们可以添加一个或者多个判断条件作为数据的筛选，而判断的本质就是bool值，True、False
    而df里面的行默认选取满足True的对应列的所有行，也可以是1
    对于rank方法，还请大家自行百度！

当然，仔细发现，你其实可以用max()来实现

df.groupby(‘episode’)\[‘likeCount’\].max().reset\_index()

### 3.主角(contents)提及次数以及主角标签name使用次数: ###

对于**label\_name**,其实就是vip特有的一个发弹幕权利，就是你每次发弹幕时可以选定标签角色，这在一定的程度上可以体现你对这个角色的喜欢度。

因此根据这个特性以及爬取到的数据，我们可以对其进行用户分级，初步分为VIP用户、未知用户、普通用户。其中这里的未知用户就是作为vip但是没有做vip该做的事的这么一群人，通过未知用户和’vip‘用户的统计，你可以初度得出vip是否知晓该功能或者该功能的受欢迎程度。

在VIP用户里面：我们也可以对label\_name进行进一步的分析，看看谁被使用的次数最多

这里以隐秘的角落为例：

#标签name包括：张东升 朱朝阳 普普 严良 陈冠声 周春红 朱永平 叶军
    #name_level 表示 用户等级
    def transform_name(x):
        if x=='张东升' or x=='朱朝阳' or x=='普普' or x=='严良' or x=='陈冠声' or x=='周春红' or x=='朱永平' or x=='叶军':
            return 'VIP用户'
        elif x=='未知用户':
            return '未知用户'
        else:
            return '普通用户'    
    df['name_level'] = df.name.str.strip().apply(transform_name)
    df.head()

**主角(contents)提及次数**这个就有点复杂了，在评论里一个一个的找角色关键词无异于大海捞针，但是我们有pandas。

1.首先我们需要构建一个关键词字典，然后指定df.contents去遍历判断每一行的评论是否包含这些关键词

2.如何建立字典和contents列的关联，仔细一想，是啥呢？说实话，我想不出来！

连接的关键就是df里面的str矢量化中的一个函数 str.contain() contain 包含的意思 并且df中的str函数自带re匹配

3.遍历字典，我们需要用到dict.items()去取出我们需要的键-key和值-value；value就是我们给定的一系列可以匹配该角色的关键词，而key就是主角名字

a = { '张东升':'东升|秦昊|张老师', 
         '朱朝阳':'朝阳', 
         '严良':'严良', 
         '普普':'普普', 
         '朱永平':'朱永平', 
         '周春红':'春红|大娘子', 
         '王瑶':'王瑶', 
         '徐静':'徐静|黄米依', 
         '陈冠声':'王景春|老陈|陈冠声', 
         '叶军':'叶军|皮卡皮卡', 
         '马主任':'主任|老马', 
         '朱晶晶':'晶晶',
         '叶驰敏':'叶驰敏'}
    for key, value in a.items():
        df[key] = df['contents'].str.contains(value)
    staff_count = pd.Series({ key: df.loc[df[key], 'contentsId'].count() for key in a.keys()}).sort_values()
    print(staff_count)

4.就是构建一个Series数组将结果以Sreies的形式输出。df.loc\[df\[key\], ‘contentsId’\].count() for key in a.keys()这一步表示先将所有的键值对全部输出再统一全部打印出来。是不是很高级，但目前的我还写不出这样python范的代码。

### 4.统计弹幕发送字数分布： ###

这个的意义在哪里，我不是很明白，但是能够体现你的用心程度应该还是能够可以的。所谓的意义应该就是pd.cut() 切分

word_num = df.contents.apply(lambda x:len(x)) 
    # 分箱
    bins = [0,5,10,15,20,25,30,35,40,45,50,80] #80可以通过word_num.max()得到
    word_num_cut = pd.cut(word_num, bins, include_lowest=False).value_counts()
    word_num_cut = word_num_cut.sort_index()
    word_num_cut

但是我们的列表推导式也很可爱

df['wz_count'] = [len(x) for x in df.contents]

### 5.既然弹幕的核心是弹幕内容，那么词云图是必不可少的。 ###

对于整体弹幕内容，我们可以根据模板和基本思路实现：设置停用词，添加停用词，添加关键词，分词等等

对于单一角色词云图，我们该如何拿到关于某一角色的弹幕内容呢？

这里主要分两种，一种是根据label\_name来进行筛选，那就很容易了,当然这一种并不科学！

df[df.name=='角色名']['contents']

如果是根据弹幕内容呢？简单分析一下，其实很简单

dm = df[df.contents.str.contains('东升|秦昊|张老师')]['contents']
    #如果这样写：value = '东升' or '秦昊' or '张老师'，发现只会匹配第一个，所以直接写入进去更好，也不是很麻烦！

### 6.如何批量读取数据文件 ###

data_list = os.listdir('../data/')[:-1]#文件目录路径
    df_all = pd.DataFrame()
    for i in data_list:
        df_one = pd.read_csv(f'../data/{i}', engine='python', encoding='utf-8', index_col=0)  
        df_all = df_all.append(df_one, ignore_index=False)#ignore_index：默认值为False，如果为True则不使用index标签
        print(df_one.shape) 
        ''' 如果需要添加i作为某一新增列名的数据，可以直接调用 df['列名']=i.replace('xlsx','') '''
    df_all.shape

腾讯视频弹幕的总结还在路上…有则加之，无则甚好

下面附上相关资源代码(都是大佬写的，不是我)：  
[链接：https://pan.baidu.com/s/1HXnXklSUAW-Pl82OIWly7w ][https_pan.baidu.com_s_1HXnXklSUAW-Pl82OIWly7w]  
提取码：love  
复制这段内容后打开百度网盘手机App，操作更方便哦

==本篇文章为个人学习总结，如有错误之处，还请指出纠正！我很需要你们的评论以及建议！==记得点赞

[https_pan.baidu.com_s_1HXnXklSUAW-Pl82OIWly7w]: https://pan.baidu.com/s/1HXnXklSUAW-Pl82OIWly7w