大数据应用期末总评

心已赠人 2021-12-12 14:09 204阅读 0赞

### 作业要求来源：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339][https_edu.cnblogs.com_campus_gzcc_GZCC-16SE2_homework_3339] ###

### 本案例主要分析在豆瓣爬取的《三体》短评数据，数据字段包括地址、评论时间、评论内容、评价程度、用户名和投票数6个属性值，将数据上传到hdfs的hive数据仓库中进行简要分析。 ###

#### 一、建立一个运行本案例的目录bigdatacase、dataset： ####

![1480612-20190613184250349-423991196.png][]  
![1480612-20190613184442778-1419916797.png][]  
将文本拷贝到dataset目录下并查看文件：  
![1480612-20190613185954137-1069374775.png][]  
![1480612-20190613190018893-865749126.png][]

#### 二、预处理文件，将csv生成txt文件： ####

1、删除第一行字段：  
![1480612-20190613190224911-1943596887.png][]

2、预处理字段：  
![1480612-20190616191526616-1858667032.png][]  
每个字段用\\t隔开，这里有6个字段。

![1480612-20190613191459228-572791620.png][]

#### 三、将文本文件上传到hive： ####

1、启动hdfs:  
![1480612-20190613192254212-922033890.png][]

2、在HDFS上建立/bigdatacase/dataset文件夹，将文件上传：  
![1480612-20190613195045461-97764775.png][]  
![1480612-20190613195128583-885846532.png][]  
![1480612-20190613195155110-252881936.png][]  
![1480612-20190613195456481-1811655820.png][]

3、启动mysql：  
![1480612-20190613200009646-1155973254.png][]

4、在hive中创建数据库dblab：  
![1480612-20190613200305849-1434507538.png][]

5、在把hdfs中的“/bigdatabase/dataset”目录下的数据加载到了数据仓库的hive中的：  
![1480612-20190613205730556-2051844141.png][]  
（在这里遇到了一个问题就是，如果出现以下情况，则修改下字段名称，这里我将date改成riqi就可以了）：  
![1480612-20190613205853467-2119213801.png][]

6、在hive中查看数据，查找表的前10条记录：  
![1480612-20190613210155123-1550885386.png][]

#### 四、Hive数据分析： ####

（因为上面那张边st\_table分析的时候有错误分析不正确，故删除重复上述步骤新建st3.txt文本文件，以下采用st3表，并且该文本文件因为事先已经排序好，故这里不进行排序）  
1、查询不重复的用户名：  
![1480612-20190614091419071-1667560946.png][]  
通过distinct username 查询出不重复的用户名有多少1871个，总数量2000左右，说明大部分还是比较真实的，但也有部分刷评论的。

2、查询投票数前20的评价程度：  
![1480612-20190614101552369-1456168802.png][]

查询结果显示大部分还是呈“推荐”趋势的。  
3、查询评价为“力荐”的数量：  
![1480612-20190614100828043-1560327003.png][]

4、查询评价为“推荐”的数量：  
![1480612-20190614101255616-1372715490.png][]

5、查询评价为“较差”的数量：  
![1480612-20190614101816279-495606894.png][]

6、查询评价为“很差”的数量：  
![1480612-20190614101910629-2064899881.png][]  
通过3、4、5、6的查询可以得出推荐和力荐的总数量达1442，占总比的72%，较差和很差的数量占总数的3.1%，说明大部分还是给了好评居多。  
7、查询前10的用户所在的城市：  
![1480612-20190617102008486-481820280.png][]  
![1480612-20190617102046247-581819309.png][]

通过分组排序并且去除“关注此人”这个脏数据后，查询用户所在城市，大部分还是集中在一线城市，说明评论的还是有一定的可信度的，毕竟一线城市的用户平均阅读水平较高。  
8、查询投票数最高的前20的用户的评论时间：  
![1480612-20190614102303554-2017928077.png][]  
通过查询的到的评价时间可以的高票评价还是集中在2013、2014、2015，而该作品得奖时间是2015，说明评价有一定的参考性。

9、查询北京的用户评价的内容：  
![1480612-20190614103320005-225764688.png][]

10、查询上海、的用户评价的内容：  
![1480612-20190614103745189-841900420.png][]

11、查询广州的用户评价的内容：  
![1480612-20190614103841243-2039674830.png][]  
通过9、10、11的分析得出一线城市用户的评价可看出高票评价观点鲜明，好评的居多，但是有部分不认同和反对，说明评价还有有一定的客观性的。

#### 四、总结 ####

**分析结果：针对在豆瓣爬取的《三体》短评，通过城市、时间、评价星级等各方面进行分析得出：短评大部分还是比较好的，短评有好有坏，但好评居多，说明此作品具有一定的可读性和可观性。  
通过本案例，了解了hdfs和hive数据仓库的大数据分析基本的原理和操作，在海量数据处理方面，hadoop在数据容纳和分析方面有着先天的优势，不过本案例的数据还不够多体现不出。hive仓库分析其实也有很多函数可以进行大数据的处理和分析，这里也进行了简单的数据库查询。总体有待完善。**

转载于:https://www.cnblogs.com/Xi-Chen00/p/11018526.html

[https_edu.cnblogs.com_campus_gzcc_GZCC-16SE2_homework_3339]: https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339
[1480612-20190613184250349-423991196.png]: /images/20211211/b1344513ad2248a79ba582889dc9a0f1.png
[1480612-20190613184442778-1419916797.png]: /images/20211211/5730ce7fdabf4a9e9f9de779f0ba3d9b.png
[1480612-20190613185954137-1069374775.png]: /images/20211211/2e8bbad6fe1c4892ae096802da533727.png
[1480612-20190613190018893-865749126.png]: /images/20211211/cc4a154079ab45d7aba782f7e4b48bc8.png
[1480612-20190613190224911-1943596887.png]: /images/20211211/6a81821dd9cf474a9739aa8232e5048f.png
[1480612-20190616191526616-1858667032.png]: /images/20211211/03b97b3a5c6d4d749daa0fddb4a7ece7.png
[1480612-20190613191459228-572791620.png]: /images/20211211/52e2f31ba4824e6dbad9dd7e2fba439b.png
[1480612-20190613192254212-922033890.png]: /images/20211211/c71ef6d86f6340deb6d866474573ca88.png
[1480612-20190613195045461-97764775.png]: /images/20211211/52b87385819b465c9d274c1047c9704f.png
[1480612-20190613195128583-885846532.png]: /images/20211211/14970bc47a7b446792e41dc4d486753c.png
[1480612-20190613195155110-252881936.png]: /images/20211211/74d885935b9341c293b091726c9e65c1.png
[1480612-20190613195456481-1811655820.png]: /images/20211211/3092c92198074e858c53655389b05ad9.png
[1480612-20190613200009646-1155973254.png]: /images/20211211/579e3747491b42b9a9cc41cefd439d6f.png
[1480612-20190613200305849-1434507538.png]: /images/20211211/581b12c448ca4296977d42d0e2edc897.png
[1480612-20190613205730556-2051844141.png]: /images/20211211/bf4621b11f864a22811877d6a2b2f5a5.png
[1480612-20190613205853467-2119213801.png]: /images/20211211/74b90b776f8e4a3382677d5daebb1801.png
[1480612-20190613210155123-1550885386.png]: /images/20211211/a80b1d195b6c40f68e53d64e274adebe.png
[1480612-20190614091419071-1667560946.png]: /images/20211211/bd8822377de943b28116f41576205c24.png
[1480612-20190614101552369-1456168802.png]: /images/20211211/34f861c1c68d453d9fb0e7fafa27336a.png
[1480612-20190614100828043-1560327003.png]: /images/20211211/2a0ffab029ad4001a5a4a1dc96fb9ebf.png
[1480612-20190614101255616-1372715490.png]: /images/20211211/e42a2ef70fc9453e8766b21f6c5db5e6.png
[1480612-20190614101816279-495606894.png]: /images/20211211/ba8ae09da0f343e782c0a193a997874e.png
[1480612-20190614101910629-2064899881.png]: /images/20211211/eace6cc68e5f46fbbe9b4a9f710187a4.png
[1480612-20190617102008486-481820280.png]: /images/20211211/ba5bec0b758a42369cd93c152595d721.png
[1480612-20190617102046247-581819309.png]: /images/20211211/94dc0b202e6246b99271878088cb5f8c.png
[1480612-20190614102303554-2017928077.png]: /images/20211211/3428092f237b470981c005fe5c787a1a.png
[1480612-20190614103320005-225764688.png]: /images/20211211/d92d168a7ad0447f9da2fb3bf184abe1.png
[1480612-20190614103745189-841900420.png]: /images/20211211/d78b9a10cb4f4b3090a6b1cc66245e79.png
[1480612-20190614103841243-2039674830.png]: /images/20211211/72488a1cbd4746759e28f28a99465a03.png