2.3.9 hadoop体系之离线计算-Hive数据仓库-hql实现wordcount操作

客官°小女子只卖身不卖艺 2022-12-27 07:25 90阅读 0赞

# 1.写在前面 #

类比hql理解，hive出现的目的就是因为MapReduce编程太不方便了，想写一个wordcount，需要写一个Mapper的子类+Reducer的子类，最后还要写一个主类用来描述job、提交job（[mapreduce实现WordCount][mapreduce_WordCount]）。hql的出现大大简化了这一流程，直接分割文本，切出每个单词，利用行转列将每个单词作为一行统计次数即可。

# 2.sql实现 #

先直接上SQL语句，可以看出SQL实现确实比MapReduce实现要清爽得多。大概实现流程分为三步：

*  分割本文。根据分割符对文本进行分割，切分出每个单词；
 *  行转列。对分割出来的词进行处理，每个单词作为一行；
 *  统计计数。统计每个单词出现的次数。

SELECT word, count(1) AS count FROM
      (SELECT explode(split(line, ' ')) AS word FROM docs) w
    GROUP BY word
    ORDER BY word;

# 3.实现细节 #

## **3.1 准备文本内容** ##

新建一个 /home/docs.txt 文本，文本内容如下：

hello world
    hello hello hive

## **3.2 新建hive表** ##

（1）创建数据库：create database wordcount;

（2）show数据库：show databases;

（3）使用数据库：use wordcount;

（4）创建表：create table docs(context string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\n';

## **3.3 加载数据到hive表中** ##

加载数据到hive表中有两种方式，一种是从Linux本地文件系统加载，一种是从HDFS文件系统加载。

（1）从Linux本地文件系统加载

LOAD DATA LOCAL INPATH '/home/docs.txt' OVERWRITE INTO TABLE docs;

（2）从HDFS文件系统加载

首先需要将文件上传到HDFS文件系统

$ hadoop fs -put /home/docs.txt /user/gong/

然后从HDFS文件系统加载数据

LOAD DATA INPATH 'docs.txt' OVERWRITE INTO TABLE docs;

加载数据到hive表后，查看hive表的内容，和原始文本格式并没有区别。

## **3.4 分割文本** ##

分割单词SQL实现：

SELECT split(line, ' ') AS word FROM docs;

分割后结果：

["hello","world"]
    ["hello","hello","hive"]

可以看出，分割后的单词仍是都在一行，无法实现想要的功能，因此需要进行行转列操作。

## **3.5 行转列** ##

行转列SQL实现：

SELECT explode(split(line, ' ')) AS word FROM docs;

转换后的结果：

hello
    world
    hello
    hello
    hive

## **3.6 统计计数** ##

SELECT word, count(1) AS count FROM
      (SELECT explode(split(line, ' ')) AS word FROM docs) w
    GROUP BY word
    ORDER BY word;

统计后结果：

hello   3
    hive   1
    world   1

至此，Hive已实现WordCount计数功能。

[mapreduce_WordCount]: https://blog.csdn.net/Suyebiubiu/article/details/108969800

发表评论取消回复

表情：

评论列表（有 0 条评论，90人围观）

还没有评论，来说两句吧...

相关阅读

相关 2.3.10 hadoop体系之离线计算-Hive数据仓库-MaxCompute SQL调优

目录 1.写在前面 2. MaxCompute对比Hive 3.调优方法论 3.1 编译阶段 3.1.1 调度阶段 3.1.2 优化阶段 3.1.3 生成物理执行

电玩女神/ 2023年01月23日 06:59/ 0 赞/ 213 阅读

相关 2.3.9 hadoop体系之离线计算-Hive数据仓库-hql实现wordcount操作

1.写在前面类比hql理解，hive出现的目的就是因为MapReduce编程太不方便了，想写一个wordcount，需要写一个Mapper的子类+Red

客官°小女子只卖身不卖艺/ 2022年12月27日 07:25/ 0 赞/ 91 阅读

相关 2.3.8 hadoop体系之离线计算-Hive数据仓库-Hive常见问题总结

目录 1. Hive架构原理 command-line shell & thrift/jdbc Metastore HQL的执行流程 2. 数据仓库与传统数据库比较

「爱情、让人受尽委屈。」/ 2022年12月27日 07:22/ 0 赞/ 96 阅读

相关 2.3.7 hadoop体系之离线计算-Hive数据仓库-Hive函数

目录 1.内置函数 2.自定义函数UDF 3.UDF开发实例 3.1 maven工程 3.2 开发 Java 类集成 UDF 3.3 项目打包，并上传到hive的l

曾经终败给现在/ 2022年12月15日 12:42/ 0 赞/ 136 阅读

相关 2.3.6 hadoop体系之离线计算-Hive数据仓库-Hive查询语法

目录 1.SELECT 2.查询语法 2.1 全表查询 2.2 选择特定列 2.3 列别名 3.常用函数 4.LIMIT语句 5.WHERE语句 5.1 比较

落日映苍穹つ/ 2022年12月15日 12:39/ 0 赞/ 140 阅读

相关 2.3.5 hadoop体系之离线计算-Hive数据仓库-Hive表操作

目录 1.Hive表创建语法 2.管理表的操作（所有操作底层都是mapreduce） 2.1 Hive建表时候的字段类型 2.2 创建表并指定字段之间的分隔符（后期文件

客官°小女子只卖身不卖艺/ 2022年12月15日 11:16/ 0 赞/ 154 阅读

相关 2.3.4 hadoop体系之离线计算-Hive数据仓库-Hive数据库操作

目录 1.创建数据库 2.创建数据库并指定位置 3.修改数据库 4.查看数据库详细信息 5.删除数据库 -------------------- 1.创建数据库

客官°小女子只卖身不卖艺/ 2022年12月14日 08:48/ 0 赞/ 125 阅读

相关 2.3.3 hadoop体系之离线计算-Hive数据仓库-Hive的安装和交互方式

目录 1.Hive的安装 1.1 上传并解压安装包 1.2 安装mysql 1.3 修改配置文件 hive-env.sh 1.4 修改配置文件 hive-site.x

桃扇骨/ 2022年12月14日 03:38/ 0 赞/ 149 阅读

相关 2.3.2 hadoop体系之离线计算-Hive数据仓库-Hive基本概念和架构分析

目录 1.Hive简介 1.1 什么是Hive 1.2 为什么使用Hive 1.3 Hive的特点 2.Hive的架构分析 3.Hive 与 Hadoop 的关系

朴灿烈づ我的快乐病毒、/ 2022年12月14日 00:34/ 0 赞/ 143 阅读

相关 2.3.1 hadoop体系之离线计算-Hive数据仓库-什么是数据仓库？

目录 1.什么是数据仓库 1.1 基本概念 1.2 主要特征 1.2.1 面向主题 1.2.2 集成性 1.2.3 非易失性（不可更新性） 1.2.4 时变性

本是古典何须时尚/ 2022年12月13日 15:30/ 0 赞/ 164 阅读