火爆全球的《鱿鱼游戏》，尝试用Python做一波分析！

绝地灬酷狼 2022-08-28 00:48 216阅读 0赞

把最近很火的一个韩剧《鱿鱼游戏》刷了下，这部剧整体剧情来说还是非常不错的，很值得一看。

作为一个技术博主，当然不能在这儿介绍这部剧的影评，毕竟自己在这方面不是专业的，也不擅长啊。

本文呢，主要是爬取《鱿鱼游戏》在豆瓣上的一些影评，对数据做一些简单的分析，用数据的角度重新审视下这部剧。

#### 技术工具 ####

在正文开始之前，先介绍下本篇文章中用到的技术栈和工具。

本文用到的技术栈和工具如下，归结为四个方面：

*  语言：Python，Vue，javascript
 *  存储：MongoDB
 *  库：echarts，Pymongo，WordArt...
 *  软件：Photoshop

#### 数据采集 ####

本次数据采集的目标网站为 **豆瓣**，但自己的账号之前被封，所以只能采集到大概二百来条数据，豆瓣有相应的反爬机制，浏览10页以上的评论需要用户登录才能进行下一步操作。

至于为啥账号被封，是因为之前自己学爬虫时不知道在哪里搞的【豆瓣模拟登录】代码，当时不知道代码有没有问题，愣头青直接用自己的号试了下，谁知道刚试完就被封了，而且还是永久的那种。

![134ccd4223fff9aa05fdd69b266b3959.png][]图1

在这里也给大家提个醒在以后做爬虫时，模拟登录时尽量用一些测试账号，能不用自己的号就别用。

这次数据采集也比较简单，就是更改`图2` 中 url 上的 `start` 参数，以 `offset` 为 20 的规则作为下一页 url 的拼接：

![b6406fa838e3e1ec239707ee6dd391bb.png][]图2

拿到请求连接之后，用 requests 的 get 请求，再对获取到的 html 数据做个解析，就能获取到我们需要的数据了。采集核心代码贴在下方：

for offset in range(0,220,20):
        url = "https://movie.douban.com/subject/34812928/comments?start={}&limit=20&status=P&sort=new_score".format(offset)
        res = requests.get(url,headers= headers)
        # print(res.text)
        soup = BeautifulSoup(res.text,'lxml')
        time.sleep(2)
        for comment_item in soup.select("#comments > .comment-item"):
            try:
    
                data_item = []
                avatar = comment_item.select(".avatar a img")[0].get("src")
                name = comment_item.select(".comment h3 .comment-info a")[0]
                rate = comment_item.select(".comment h3 .comment-info span:nth-child(3)")[0]
                date = comment_item.select(".comment h3 .comment-info span:nth-child(4)")[0]
                comment = comment_item.select(".comment .comment-content span")[0]
                # comment_item.get("div img").ge
                data_item.append(avatar)
                data_item.append(str(name.string).strip("\t"))
                data_item.append(str(rate.get("class")[0]).strip("allstar").strip('\t').strip("\n"))
                data_item.append(str(date.string).replace('\n','').strip('\t'))
                data_item.append(str(comment.string).strip("\t").strip("\n"))
                data_json ={
                    'avatar':avatar,
                    'name': str(name.string).strip("\t"),
                    'rate': str(rate.get("class")[0]).strip("allstar").strip('\t').strip("\n"),
                    'date' : str(date.string).replace('\n','').replace('\t','').strip(' '),
                    'comment': str(comment.string).strip("\t").strip("\n")
                }
                if not (collection.find_one({'avatar':avatar})):
                   print("data _json is {}".format(data_json))
                   collection.insert_one(data_json)
                f.write('\t'.join(data_item))
                f.write("\n")
            except Exception as e:
                print(e)
                continue

豆瓣爬取时需要记得加上 cookie 和 User-Agent，否则会有数据为空，

为了后面数据可视化提取方便，本文用的是 Mongodb 作为数据存储，共有211 条数据，主要采集的数据字段为 `avatar`，`name`、`rate`、`date`、`comment`，分别表示用户头像、用户名字、星级、日期，评论。结果见`图3`：

![070e9edd7c70e6235ffce7ba617c9d1e.png][]图3

这里如果你不熟悉，MongoDB，用csv文件或其他方式作为数据存储也是可以的。

#### 数据可视化 ####

可视化部分之前打算用 Python + Pyecharts 来实现，但 Python 图表中的交互效果不是很好，索性就直接用原生 Echarts + Vue 组合来实现，而且这样的话，将所有图表放在一个网页中也比较方便。

首先是对评论时间与评论数量做了一个图表预览，根据这些数据的评论时间作为一个散点图分布，看一下用户评论主要的时间分布：

![4c9ea7292075f53716cb110f2d5c7ab4.gif][]图4

`图4`中点的大小和颜色代表当天评论数量，而评论数量也可以侧面反应该剧当天的热度。

可以了解到，《鱿鱼游戏》影评从 9 月17 日开始增长，在 20 号数量达到顶峰，21 日回落，在 21日-29日评论数量来回震荡，相差不大。

直到国庆 10月1日最少，猜测可能是一方面是国庆假期大家都出去玩的缘故，另一方面是随着时间推移，这个剧的热度也就降下来了

为了了解大家对《鱿鱼游戏》的评价，我对这二百条数据对这个剧的【评分星级】绘制了一个饼图，最终效果见 图5：

![de616e2541ef0a7f3831d79e0848a146.gif][]图5

说实话`图5` 的结果让我有些意外，至少对于我而言这部剧质量说实话还是蛮高的，绘图之前以为【五星】的占比应该是最大的，其次是【四星】，再然后是【三星】。

现在【三星】和【五星】的占比恰恰相反，猜测可能是这部剧的情节比较残忍，会引起人的不适，所以高分占比不高。

为了方便，最后我将上面两张图表放置在一个网页上，效果见`图6` 和 `图7` 两种不同布局

**垂直布局**

![b52bfc49a2fe39d620212e40c2926294.gif][]图6

**水平布局**

![0bb1f39955050673116d9b731e13bb6e.gif][]图7

#### 词云可视化 ####

本次采集的数据信息有限，能分析的数据维度不多，关于数据图表方面的分析基本就到这里了。下面是对采集到的评论做了几张词云图：

![af9c48a0c68f24062be3b2a544b4a3d6.png][]图8

从`图8`来看，去除现实中常用到的`还是`、`就是`等口头语，`人性` 是影评中频率最高的一个词，而这个词确实符合《鱿鱼游戏》这部剧的主题，从第一集开始到结束都是在剖析人性，赌徒们的“贪婪、赌性成瘾”，贵宾们的“弱肉强食”

![c89add0dffcb202498d6ac512c045cd2.png][]图9

对比上张词云图，`图9`凸显的信息相对就多了些，例如`韩国`、`人设`、`刺激`、`剧情`、`赌博默示录`、`题材`等都与剧情有关，除了这几个信息之外，`李政宰`、`孔刘`、`李秉宪` 等几个主演也被提到。

最后，以两张照片墙作为文章的结尾：

![3b99eb32d631d95a45e16edab41f3461.png][]图10 ![437ebcde2915074e7e20e0bcd86247da.png][]图11

`图10`，`图11` 照片墙的轮廓采用的是剧中的两个人物截图，一个是**123木头人** ，另外一个是男一在玩游戏二的一个镜头：

![57cbe5424a661f462fb15e891b109759.png][]

#### 小结 ####

以上就是本篇文章的全部内容了，本文主要是介绍了 Python 在数据采集和可视化方面的一些应用。

**获取本文相关代码**

请在公众号 **菜鸟学Python** 后台回复关键字 `鱿鱼`

**推荐阅读:**

入门: [最全的零基础学Python的问题][Python] | [零基础学了8个月的Python][8_Python] | [实战项目][Link 1] |[学Python就是这条捷径][Python 1]

量化: 定投基金到底能赚多少钱？  | 我用Python对去年800只基金的数据分析

干货:[爬取豆瓣短评，电影《后来的我们》][Link 2] | [38年NBA最佳球员分析][38_NBA]| [从万众期待到口碑扑街！唐探3令人失望][3] | [笑看新倚天屠龙记][Link 3][灯谜答题王][Link 4] ｜[用Python做个海量小姐姐素描图][Python 2][碟中谍这么火，我用机器学习做个迷你推荐系统电影][Link 5]

趣味:[弹球游戏][Link 6] | [九宫格][Link 7] | [漂亮的花][Link 8] | [两百行Python《天天酷跑》游戏!][Python 3]

AI: [会做诗的机器人][Link 9][给图片上色][Link 10] | [预测收入][Link 11] | [碟中谍这么火，我用机器学习做个迷你推荐系统电影][Link 5]

小工具: [Pdf转Word，轻松搞定表格和水印！][Pdf_Word] | [一键把html网页保存为pdf！][html_pdf]| [再见PDF提取收费！][PDF] | [用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换][90_PDF_word_PPT_excel_markdown_html] | [制作一款钉钉低价机票提示器！][Link 12] ｜[60行代码做了一个语音壁纸切换器天天看小姐姐！][60]｜

**年度爆款文案**

*  1).[卧槽！Pdf转Word用Python轻松搞定][Pdf_Word_Python]！
 *  [2).学Python真香！我用100行代码做了个网站，帮人PS旅行图片，赚个鸡腿吃][2_._Python_100_PS]
 *  [3).首播过亿，火爆全网，我分析了《乘风破浪的姐姐》，发现了这些秘密][3_.]
 *  4).[80行代码！用Python做一个哆来A梦分身][80_Python_A]
 *  [5).你必须掌握的20个python代码，短小精悍，用处无穷][5_._20_python]
 *  6).[30个Python奇淫技巧集][30_Python]
 *  7).[我总结的80页《菜鸟学Python精选干货.pdf》,都是干货][80_Python_.pdf]
 *  8).[再见Python！我要学Go了！2500字深度分析][PDF]
 *  [9).发现一个舔狗福利！这个Python爬虫神器太爽了，自动下载妹子图片][9_._Python]

#  #

点阅读原文,看Python全套！

[134ccd4223fff9aa05fdd69b266b3959.png]: /images/20220828/0cb5beb546ac46c3babeb4e624de557b.png
[b6406fa838e3e1ec239707ee6dd391bb.png]: /images/20220828/4afe8a920d904b239d546a42647731e0.png
[070e9edd7c70e6235ffce7ba617c9d1e.png]: /images/20220828/0223b7abf26e440bbf2604176a8531b2.png
[4c9ea7292075f53716cb110f2d5c7ab4.gif]: /images/20220828/663096573d274a54b6ae1b9aa52238fa.png
[de616e2541ef0a7f3831d79e0848a146.gif]: /images/20220828/dc332e86e8254cff89d1ccdacf0b9679.png
[b52bfc49a2fe39d620212e40c2926294.gif]: /images/20220828/68bb194b13e34a2983a4102dea113128.png
[0bb1f39955050673116d9b731e13bb6e.gif]: /images/20220828/7f76d83611c14a18a0ccdbd86fbd47ac.png
[af9c48a0c68f24062be3b2a544b4a3d6.png]: /images/20220828/9d193fdfdd0c416bbcd18eb8784f7798.png
[c89add0dffcb202498d6ac512c045cd2.png]: /images/20220828/1b6aa75db4cb4825a1399099758d1d08.png
[3b99eb32d631d95a45e16edab41f3461.png]: https://img-blog.csdnimg.cn/img_convert/3b99eb32d631d95a45e16edab41f3461.png
[437ebcde2915074e7e20e0bcd86247da.png]: /images/20220828/49c935b55d9d4fabab627cebd511c83d.png
[57cbe5424a661f462fb15e891b109759.png]: /images/20220828/fbaf0e4c9d0643389aebcb8b1ad830db.png
[Python]: https://blog.csdn.net/cainiao_python/article/details/100036887
[8_Python]: https://blog.csdn.net/weixin_33863087/article/details/91440273
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247489785&idx=1&sn=8acad1d7655f73702c78fe3af2fbd43a&chksm=97888f36a0ff0620bbc9e19e1783a1b3871a13485e56e58c2c2f49922951952238cb0f2ab78f&scene=21#wechat_redirect
[Python 1]: https://blog.csdn.net/weixin_39637571/article/details/110277976
[Link 2]: https://blog.csdn.net/weixin_41929524/article/details/79963042
[38_NBA]: https://blog.csdn.net/EtoneGroup/article/details/111317660
[3]: https://blog.csdn.net/cainiao_python/article/details/119723059
[Link 3]: https://blog.csdn.net/weixin_39568172/article/details/110172136
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247489108&idx=1&sn=988aad43f8c6135bd7050cd8858422ca&chksm=9788819ba0ff088da3150b31f91335942eb97783206d982302c026ccb16642b03329e24a572a&scene=21#wechat_redirect
[Python 2]: https://blog.csdn.net/qq_33254766/article/details/106215647
[Link 5]: https://blog.csdn.net/z3y3m3/article/details/105295040
[Link 6]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247484006&idx=1&sn=899e1ebeed40aa42c04c65975adcc0f4&chksm=978895a9a0ff1cbffbcd970db026540667f1413c5680305769e4e7a2cfbe5730e70b9e649bb9&scene=21#wechat_redirect
[Link 7]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247483945&idx=1&sn=3bf763ec6b2d6cfed33b5bb0e913e08c&chksm=978895e6a0ff1cf0e7b10ebe9cd7b4195aa9a9e25eeaad50f8b17b62d83fc114cbd9620fd69e&scene=21#wechat_redirect
[Link 8]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247483844&idx=1&sn=66cc4f532e2ee95427228eb6302b6e0d&chksm=9788960ba0ff1f1dd9d86868d01c96936501612bc9d3c9c9c7a55dd5b02c366a9f997ec2c172&scene=21#wechat_redirect
[Python 3]: https://blog.csdn.net/weixin_43881394/article/details/112525642
[Link 9]: https://blog.csdn.net/qq_41424519/article/details/81943237
[Link 10]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247489691&idx=1&sn=e207bfaebba4638cc00e425c6d5f41de&chksm=97888f54a0ff064253c69f08ddaced17273d430989aec293e17708e68dab675fce236bfc7af7&scene=21#wechat_redirect
[Link 11]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247489216&idx=1&sn=7eb7701a50bc3686ecdfc1921c984bb4&chksm=9788810fa0ff0819035e9226b45349b1482a38410b4ad7bae210aaf9a19709ef8b634b3319dc&scene=21#wechat_redirect
[Pdf_Word]: https://blog.csdn.net/weixin_39766071/article/details/110307080
[html_pdf]: https://blog.csdn.net/keenweiwei/article/details/18982565
[PDF]: https://blog.csdn.net/cainiao_python/article/details/116213390
[90_PDF_word_PPT_excel_markdown_html]: https://blog.csdn.net/cainiao_python/article/details/115499784
[Link 12]: https://blog.csdn.net/cainiao_python/article/details/117457955
[60]: https://blog.csdn.net/cainiao_python/article/details/118470443
[Pdf_Word_Python]: https://blog.csdn.net/cainiao_python/article/details/106233091
[2_._Python_100_PS]: https://blog.csdn.net/i54996/article/details/120728857
[3_.]: https://blog.csdn.net/cainiao_python/article/details/113976671
[80_Python_A]: https://blog.csdn.net/weixin_39710561/article/details/110026654
[5_._20_python]: https://blog.csdn.net/q985875757/article/details/119809368
[30_Python]: https://blog.csdn.net/sinat_38682860/article/details/89288593
[80_Python_.pdf]: https://blog.csdn.net/cainiao_python/article/details/112057378
[9_._Python]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247499091&idx=1&sn=15550f3afc5e1834a5f9d581416a47f8&chksm=978b6a9ca0fce38a3c22059103b2b4abf0b4008db53b4aad418b45cf2e785f4d971767237d79&scene=21#wechat_redirect