Python爬取B站视频评论并进行数据分析

àì夳堔傛蜴生んèń 2023-01-01 11:50 379阅读 0赞

# Python爬取B站视频评论并进行数据分析 #

> Python爬取 **冰冰** 第一条B站视频的千条评论，绘制词云图，看看大家说了什么吧，Python爬取B站视频评论并进行数据分析

酱酱酱，那就开始吧

> 版权声明：本文为博主原创文章，创作不易  
> 本文链接：https://beishan.blog.csdn.net/article/details/112100932

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_30_color_FFFFFF_t_70]

--------------------

### 文章目录 ###

*  Python爬取B站视频评论并进行数据分析
 *  1. 数据收集
 *   *  1.1 获取接口
     *  1.2 查看数据
     *  1.3 解析URL
     *  1.4 解析数据
 *  2. 数据分析
 *   *  2.1 数据描述
     *  2. 2 删除空值
     *  2.3 删除重复值
 *  3. 可视化展示
 *   *  3.1 点赞TOP20
     *  3.2 等级分布
     *  3.3 性别分布
     *  3.4 绘制词云图
     *  3.5 Summary
 *  4. 后记

【冰冰vlog.001】带大家看看每个冬天我必去的地方

推荐阅读：

[matplotlib实用绘图技巧总结][matplotlib]  
[Python 数据可视化–Seaborn绘图总结1][Python _Seaborn_1]  
[Python数据可视化–Seaborn绘图总结2][Python_Seaborn_2]

--------------------

[Tableau数据分析-Chapter01条形图、堆积图、直方图][Tableau_-Chapter01]  
[Tableau数据分析-Chapter02数据预处理、折线图、饼图][Tableau_-Chapter02]  
[Tableau数据分析-Chapter03基本表、树状图、气泡图、词云][Tableau_-Chapter03]  
[Tableau数据分析-Chapter04标靶图、甘特图、瀑布图][Tableau_-Chapter04]  
[Tableau数据分析-Chapter05数据集合并、符号地图][Tableau_-Chapter05]  
[Tableau数据分析-Chapter06填充地图、多维地图、混合地图][Tableau_-Chapter06]  
[Tableau数据分析-Chapter07多边形地图和背景地图][Tableau_-Chapter07]  
[Tableau数据分析-Chapter08数据分层、数据分组、数据集][Tableau_-Chapter08]  
[Tableau数据分析-Chapter09粒度、聚合与比率][Tableau_-Chapter09]  
[Tableau数据分析-Chapter10 人口金字塔、漏斗图、箱线图][Tableau_-Chapter10]  
[Tableau中国五城市六年PM2.5数据挖掘][Tableau_PM2.5]

B站当日弹幕获取  
[冰冰B站视频弹幕爬取原理解析][B]

# 1. 数据收集 #

## 1.1 获取接口 ##

哔哩哔哩其实留了很多接口，可以供我们来获取数据。 首先打开目标网站，并查看网页源码，发现评论内容不在源码中，可以确认评论是动态生成的。于是进入开发者模式，查找返回的内容。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_36_color_FFFFFF_t_70_pic_center][]

## 1.2 查看数据 ##

点击preview即可发现评论数据在这里  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_36_color_FFFFFF_t_70_pic_center 1]

## 1.3 解析URL ##

去掉第一个和最后一个参数可得评论URL，https://api.bilibili.com/x/v2/replyjsonp&type=1&oid=800760067&sort=2&pn=.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center]

--------------------

## 1.4 解析数据 ##

大家可以将获取的json  
接下来就是正式的爬取工作了，和爬取百度图片原理一样，自己试试吧。  
为了方便查看json数据，可以将html中的json复制到[json在线解析][json]中查看  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_46_color_FFFFFF_t_70_pic_center]

# 2. 数据分析 #

> 数据获取后，就可以开始初步的数据分析了

import pandas as pd
    
    data = pd.read_excel(r"bingbing.xlsx")
    data.head()

> [原文链接][Link 1]

## 2.1 数据描述 ##

data.describe()

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>等级</th> 
   <th>点赞</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>count</th> 
   <td>1180.000000</td> 
   <td>1180.000000</td> 
  </tr> 
  <tr> 
   <th>mean</th> 
   <td>4.481356</td> 
   <td>2200.617797</td> 
  </tr> 
  <tr> 
   <th>std</th> 
   <td>1.041379</td> 
   <td>10872.524850</td> 
  </tr> 
  <tr> 
   <th>min</th> 
   <td>2.000000</td> 
   <td>1.000000</td> 
  </tr> 
  <tr> 
   <th>25%</th> 
   <td>4.000000</td> 
   <td>4.000000</td> 
  </tr> 
  <tr> 
   <th>50%</th> 
   <td>5.000000</td> 
   <td>9.000000</td> 
  </tr> 
  <tr> 
   <th>75%</th> 
   <td>5.000000</td> 
   <td>203.750000</td> 
  </tr> 
  <tr> 
   <th>max</th> 
   <td>6.000000</td> 
   <td>158457.000000</td> 
  </tr> 
 </tbody> 
</table>

## 2. 2 删除空值 ##

data.dropna()

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>用户</th> 
   <th>性别</th> 
   <th>等级</th> 
   <th>评论</th> 
   <th>点赞</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>0</th> 
   <td>食贫道</td> 
   <td>男</td> 
   <td>6</td> 
   <td>[呆][呆][呆]你来了嘿！</td> 
   <td>158457</td> 
  </tr> 
  <tr> 
   <th>1</th> 
   <td>毕导THU</td> 
   <td>男</td> 
   <td>6</td> 
   <td>我是冰冰仅有的3个关注之一[tv_doge]我和冰冰贴贴</td> 
   <td>148439</td> 
  </tr> 
  <tr> 
   <th>2</th> 
   <td>老师好我叫何同学</td> 
   <td>男</td> 
   <td>6</td> 
   <td>[热词系列_知识增加]</td> 
   <td>89634</td> 
  </tr> 
  <tr> 
   <th>3</th> 
   <td>央视网快看</td> 
   <td>保密</td> 
   <td>6</td> 
   <td>冰冰来了！我们要失业了吗[doge][doge]</td> 
   <td>118370</td> 
  </tr> 
  <tr> 
   <th>4</th> 
   <td>厦门大学</td> 
   <td>保密</td> 
   <td>5</td> 
   <td>哇欢迎冰冰！！！</td> 
   <td>66196</td> 
  </tr> 
  <tr> 
   <th>...</th> 
   <td>...</td> 
   <td>...</td> 
   <td>...</td> 
   <td>...</td> 
   <td>...</td> 
  </tr> 
  <tr> 
   <th>1175</th> 
   <td>黑旗鱼</td> 
   <td>保密</td> 
   <td>5</td> 
   <td>11小时一百万，好快[惊讶]</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <th>1176</th> 
   <td>是你的益达哦</td> 
   <td>男</td> 
   <td>6</td> 
   <td>冰冰粉丝上涨速度：11小时107.3万，平均每小时上涨9.75万，每分钟上涨1625，每秒钟...</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <th>1177</th> 
   <td>快乐风男崔斯特</td> 
   <td>男</td> 
   <td>4</td> 
   <td>军训的时候去了趟厕所，出来忘记是哪个队伍了。看了up的视频才想起来，是三连[doge][滑稽]</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <th>1178</th> 
   <td>很认真的大熊</td> 
   <td>男</td> 
   <td>5</td> 
   <td>我觉得冰冰主持春晚应该问题不大吧。[OK]</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <th>1179</th> 
   <td>飞拖鞋呀吼</td> 
   <td>保密</td> 
   <td>5</td> 
   <td>《论一个2级号如何在2020年最后一天成为百大up主》</td> 
   <td>5</td> 
  </tr> 
 </tbody> 
</table>

1180 rows × 5 columns

## 2.3 删除重复值 ##

data.drop_duplicates()

1179 rows × 5 columns

# 3. 可视化展示 #

> 用的的工具是pyecharts，可以参考[快速掌握数据可视化工具pyecharts][pyecharts]

## 3.1 点赞TOP20 ##

df1 = data.sort_values(by="点赞",ascending=False).head(20)

from pyecharts import options as opts
    from pyecharts.charts import Bar
    from pyecharts.faker import Faker
    
    c1 = (
        Bar()
        .add_xaxis(df1["评论"].to_list())
        .add_yaxis("点赞数", df1["点赞"].to_list(), color=Faker.rand_color())
        .set_global_opts(
            title_opts=opts.TitleOpts(title="评论热度Top20"),
            datazoom_opts=[opts.DataZoomOpts(), opts.DataZoomOpts(type_="inside")],
        )
        .render_notebook()
    )
    c1

![在这里插入图片描述][20210318171202614.gif_pic_center]

## 3.2 等级分布 ##

data.等级.value_counts().sort_index(ascending=False)

6    165
    5    502
    4    312
    3    138
    2     63
    Name: 等级, dtype: int64

from pyecharts import options as opts
    from pyecharts.charts import Pie
    from pyecharts.faker import Faker
    
    c2 = (
        Pie()
        .add(
            "",
            [list(z) for z in zip([str(i) for i in range(2,7)], [63,138,312,502,165])],
            radius=["40%", "75%"],
        )
        .set_global_opts(
            title_opts=opts.TitleOpts(title="等级分布"),
            legend_opts=opts.LegendOpts(orient="vertical", pos_top="15%", pos_left="2%"),
        )
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
        .render_notebook()
    )
    c2

![在这里插入图片描述][20210318171313595.gif_pic_center]

## 3.3 性别分布 ##

data.性别.value_counts().sort_index(ascending=False)

from pyecharts import options as opts
    from pyecharts.charts import Pie
    from pyecharts.faker import Faker
    
    c4 = (
        Pie()
        .add(
            "",
            [list(z) for z in zip(["男","女","保密"], ["404",'103','673'])],
            radius=["40%", "75%"],
        )
        .set_global_opts(
            title_opts=opts.TitleOpts(title="性别分布"),
            legend_opts=opts.LegendOpts(orient="vertical", pos_top="15%", pos_left="2%"),
        )
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
        .render_notebook()
        
    )
    c4

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 1]

## 3.4 绘制词云图 ##

from wordcloud import WordCloud
    import jieba
    from tkinter import _flatten
    from matplotlib.pyplot import imread
    from PIL import Image, ImageDraw, ImageFont
    import matplotlib.pyplot as plt
    with open('stoplist.txt', 'r', encoding='utf-8') as f:
        stopWords = f.read()
    with open('停用词.txt','r',encoding='utf-8') as t:
        stopWord = t.read()
    total = stopWord.split() + stopWords.split()
    def my_word_cloud(data=None, stopWords=None, img=None):
        dataCut = data.apply(jieba.lcut)  # 分词
        dataAfter = dataCut.apply(lambda x: [i for i in x if i not in stopWords])  # 去除停用词
        wordFre = pd.Series(_flatten(list(dataAfter))).value_counts()  # 统计词频
        mask = plt.imread(img)
        plt.figure(figsize=(20,20))
        wc  = WordCloud(scale=10,font_path='C:/Windows/Fonts/STXINGKA.TTF',mask=mask,background_color="white",)
        wc.fit_words(wordFre)
        plt.imshow(wc)
        plt.axis('off')
    my_word_cloud(data=data["评论"],stopWords=stopWords,img="1.jpeg")

## 3.5 Summary ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 2]  
推荐阅读：

1.  [Tableau数据分析-Chapter01条形图、堆积图、直方图][Tableau_-Chapter01]
2.  [Tableau数据分析-Chapter02数据预处理、折线图、饼图][Tableau_-Chapter02]
3.  [Tableau数据分析-Chapter03基本表、树状图、气泡图、词云][Tableau_-Chapter03]
4.  [Tableau数据分析-Chapter04标靶图、甘特图、瀑布图][Tableau_-Chapter04]
5.  [Tableau数据分析-Chapter05数据集合并、符号地图][Tableau_-Chapter05]
6.  [Tableau数据分析-Chapter06填充地图、多维地图、混合地图][Tableau_-Chapter06]
7.  [Tableau数据分析-Chapter07多边形地图和背景地图][Tableau_-Chapter07]
8.  [Tableau数据分析-Chapter08数据分层、数据分组、数据集][Tableau_-Chapter08]
9.  [Tableau数据分析-Chapter09粒度、聚合与比率][Tableau_-Chapter09]
10. [Tableau数据分析-Chapter10 人口金字塔、漏斗图、箱线图][Tableau_-Chapter10]
11. [Tableau中国五城市六年PM2.5数据挖掘][Tableau_PM2.5]

# 4. 后记 #

> 根据弹幕获取的词云图，可以参考  
> [冰冰B站视频弹幕爬取原理解析][B]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 3][]

> 通过之前博客的学习，想必大家已经对Python网络爬虫有了了解，希望大家动手实践。笔者能力有限，有更多有趣的发现，欢迎私信或留言

推荐阅读：

1.  [冰冰B站视频弹幕爬取原理解析][B]
2.  [Python建立时间序列ARIMA模型实战案例][Python_ARIMA]
3.  [使用xpath爬取数据][xpath]
4.  [jupyter notebook使用][jupyter notebook]
5.  [BeautifulSoup爬取豆瓣电影Top250][BeautifulSoup_Top250]
6.  [一篇文章带你掌握requests模块][requests]
7.  [Python网络爬虫基础–BeautifulSoup][Python_BeautifulSoup]

--------------------

> 到这里就结束了，如果对你有帮助，欢迎点赞关注，你的点赞对我很重要

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 4]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_30_color_FFFFFF_t_70]: /images/20221120/9ea18ccd520846dcb5bce25de83a0974.png
[matplotlib]: https://beishan.blog.csdn.net/article/details/116401687
[Python _Seaborn_1]: https://beishan.blog.csdn.net/article/details/117380983
[Python_Seaborn_2]: https://beishan.blog.csdn.net/article/details/117305614
[Tableau_-Chapter01]: https://blog.csdn.net/qq_45176548/article/details/112756406
[Tableau_-Chapter02]: https://blog.csdn.net/qq_45176548/article/details/112757539
[Tableau_-Chapter03]: https://blog.csdn.net/qq_45176548/article/details/112758689
[Tableau_-Chapter04]: https://blog.csdn.net/qq_45176548/article/details/112777582
[Tableau_-Chapter05]: https://blog.csdn.net/qq_45176548/article/details/112788089
[Tableau_-Chapter06]: https://blog.csdn.net/qq_45176548/article/details/112797650
[Tableau_-Chapter07]: https://blog.csdn.net/qq_45176548/article/details/112849661
[Tableau_-Chapter08]: https://blog.csdn.net/qq_45176548/article/details/112850737
[Tableau_-Chapter09]: https://blog.csdn.net/qq_45176548/article/details/112873059
[Tableau_-Chapter10]: https://beishan.blog.csdn.net/article/details/116400020
[Tableau_PM2.5]: https://blog.csdn.net/qq_45176548/article/details/113619239
[B]: https://blog.csdn.net/qq_45176548/article/details/112235146
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_36_color_FFFFFF_t_70_pic_center]: /images/20221120/2c1bf967d2214c21baf16d9ae452dc33.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_36_color_FFFFFF_t_70_pic_center 1]: /images/20221120/be035cd083cc40b9a5b39c185ddda093.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/57c99723bd234b59ad0113bcaeb05d61.png
[json]: https://www.sojson.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_46_color_FFFFFF_t_70_pic_center]: /images/20221120/15d8980c6422481a8a3a98b0a85b37da.png
[Link 1]: https://blog.csdn.net/qq_45176548/article/details/112100932
[pyecharts]: https://blog.csdn.net/qq_45176548/article/details/112221932
[20210318171202614.gif_pic_center]: /images/20221120/e12195e95db34a2a8835503755b8db8e.png
[20210318171313595.gif_pic_center]: /images/20221120/ac8be75761fc4c368a4a0b2e9425e7a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/e98f083bb5a3413bb88e35f712ac4180.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/9c117a61ef4e40ee9f1d73a473ebddea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221120/0398a951bc184743ae5cc3416303f730.png
[Python_ARIMA]: https://blog.csdn.net/qq_45176548/article/details/111504846#comments_14302892
[xpath]: https://blog.csdn.net/qq_45176548/article/details/112000086
[jupyter notebook]: https://blog.csdn.net/qq_45176548/article/details/111993214
[BeautifulSoup_Top250]: https://blog.csdn.net/qq_45176548/article/details/111519379
[requests]: https://blog.csdn.net/qq_45176548/article/details/111146017
[Python_BeautifulSoup]: https://blog.csdn.net/qq_45176548/article/details/109144737
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221120/d90f0da22f2c403189f09517aa7cc5e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70]: /images/20221120/2662a14b85f34b65829b9c1569feb9a9.png