大数据应用期末总评

向右看齐 2021-12-12 17:49 206阅读 0赞

作业要求：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339][https_edu.cnblogs.com_campus_gzcc_GZCC-16SE2_homework_3339]

1.将爬虫大作业产生的csv文件上传到HDFS

![1481733-20190620152659392-1844160501.png][]

2.对CSV文件进行预处理生成无标题文本文件

![1481733-20190620152709764-902227658.png][]

3.打开数据仓库Hive

![1481733-20190620152851143-1111367576.png][]

4.把hdfs中的文本文件最终导入到数据仓库Hive中

![1481733-20190620152900735-1663598305.png][]

5.在Hive中查看并分析数据

查看用户名：

![1481733-20190620152914063-2138391345.png][]

查看用户是否观看过电影：

![1481733-20190620152926531-1413553448.png][]

查看从热到冷的评论的用户名及查看人数：

![1481733-20190620152951448-510442577.png][]

查看用户对这部电影的态度：

![1481733-20190620153033639-48811885.png][]

![1481733-20190620153041907-1570871855.png][]

查看评论热度大于1000的用户名及人数：

![1481733-20190620153056824-1362114088.png][]

查看表格的用户个数：

![1481733-20190620153114272-1669984613.png][]

查看看过电影的用户人数：

![1481733-20190620153135625-2053991077.png][]

查看热度超过1000的评论：

![1481733-20190620153204561-1519379603.png][]

查看热度低于10的评论的条数：

![1481733-20190620153216457-1304381731.png][]

查看热度为1的评论的条数：

![1481733-20190620153229051-323114976.png][]

6.分析过程。

下图为书写评论的人中看没看过电影的人数的扇形图，如图显示虽然大部分人都是看过电影的，但是还是有相当一部分人是在没有看过电影的情况下胡说八道的。

![1481733-20190620153240091-721833240.png][]

下图为热度低于10的评论条数占评论总数的扇形图，从评论中可以看出，热度低于10也就是只有极少数人认同的评论占据了评论的绝大多数。

![1481733-20190620153250808-136486662.png][]

下图为热度等于1的评论条数占评论总数的扇形图，从评论中可以看出，热度等于1也就是几乎没人认同的评论占据了评论的一个不小的比例。

![1481733-20190620153302955-1403165638.png][]

下图为热度等于1的评论条数占热度小于10的评论条数数的扇形图，从评论中可以看出，热度等于1也就是只有几乎没人认同的评论占据了热度小于10的评论的绝大多数。

![1481733-20190620153313040-666781705.png][]

7.分析结果：

观看这部电影没有必要看评论，因为绝大多数评论是没有意义的，无人认同的评论占据了大多数。

转载于:https://www.cnblogs.com/LJNAN/p/11058989.html

[https_edu.cnblogs.com_campus_gzcc_GZCC-16SE2_homework_3339]: https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339
[1481733-20190620152659392-1844160501.png]: /images/20211210/8d12009d8c5d4055903db31beb21f947.png
[1481733-20190620152709764-902227658.png]: /images/20211210/b9a5e5e3ce2e4684bb4f6c634e74c822.png
[1481733-20190620152851143-1111367576.png]: /images/20211210/53e6308d5b404307affda06c9aad9e80.png
[1481733-20190620152900735-1663598305.png]: /images/20211210/f4d6d9e3bbcc4a5e9bea5ab087452e44.png
[1481733-20190620152914063-2138391345.png]: /images/20211210/0d0b8195cd26444bbf00390e67f733dd.png
[1481733-20190620152926531-1413553448.png]: /images/20211210/8038816b914546b682db3110869c74eb.png
[1481733-20190620152951448-510442577.png]: /images/20211210/76f70fd2959040dab5a6bdc526cf9d75.png
[1481733-20190620153033639-48811885.png]: /images/20211210/ccdc1fc31d234b4fa70a0278ef012d91.png
[1481733-20190620153041907-1570871855.png]: /images/20211210/80fae2a09d4c411680baee267257bd09.png
[1481733-20190620153056824-1362114088.png]: /images/20211210/626b6a2b292d43a887e3f2a5b9bec4ba.png
[1481733-20190620153114272-1669984613.png]: /images/20211210/ea4bc98609bb440594f3fcbabb762a60.png
[1481733-20190620153135625-2053991077.png]: /images/20211210/aed6bfcf568644a8ba9d41af1663be5b.png
[1481733-20190620153204561-1519379603.png]: /images/20211210/b8ad21297d914bb78d267453eaff343b.png
[1481733-20190620153216457-1304381731.png]: /images/20211210/58940b1f305d4be0b0d74718d5850291.png
[1481733-20190620153229051-323114976.png]: /images/20211210/e895c3cf73634e59bef7bb665acc19ab.png
[1481733-20190620153240091-721833240.png]: /images/20211210/9c081cb3350c4ac78aacc4dc662b53b7.png
[1481733-20190620153250808-136486662.png]: /images/20211210/22033fd0aa5148258d9d874b60a17f03.png
[1481733-20190620153302955-1403165638.png]: /images/20211210/9ad5e9aa337d422cbc6af24a5cc8f658.png
[1481733-20190620153313040-666781705.png]: /images/20211210/34f0d18c3d914152845a43a6fbeafa7f.png