大数据-数仓-离线数据分析-Hive（一）：简介【海量结构化数据分析工具】【基于Hadoop】【将结构化的数据文件映射为一张表，并提供HQL查询功能】【本质：将HQL转化成MR程序】【慢；无法实时】

布满荆棘的人生 2023-09-25 21:11 6阅读 0赞

![在这里插入图片描述][54cd2cc597a44ded9b229bec383a5920.png_pic_center]

![在这里插入图片描述][46a89f4355fc478d90ee64c3be569d13.png_pic_center]

## ![65d644ea9b4d4d269a8169bc9061ca23.png][] ##

![79cc20e2a5a14c8da44064102ae9c8ab.png][]

## 第1章 Hive基本概念 ##

### 1.1 Hive ###

#### 1.1.1 Hive的产生背景 ####

在那一年的大数据开源社区，我们有了HDFS来存储海量数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量数据和负责的业务逻辑，开发人员要编写MR来对数据进行统计分析难度极大、效率较低，并且对开发者的Java功底也有要求。所以Facebook公司在处理自己的海量数据时开发了hive这个数仓工具。Hive可以帮助开发人员来做完成这些苦活（将SQL语句转化为MapReduce在yarn上跑），如此开发人员就可以更加专注于业务需求了。

#### 1.1.2 hive简介 ####

Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。

Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为一张表，并提供类SQL(HQL)查询功能。

#### 1.1.3 Hive本质：将HQL（hiveSQL）转化成MapReduce程序 ####

![fb85db790a314f0bbf48a97a7a567483.png][]

（1）Hive处理的数据存储在HDFS

（2）Hive分析数据底层的实现是MapReduce

（3）执行程序运行在Yarn上

（4）结构化文件如何映射成一张表的？借助存储在元数据数据库中的元数据来解析结构化文件

### 1.2 Hive架构原理 ###

#### ![a8711f422fbe454fab34ca3958261d72.png][] ####

#### 1.2.1 Hive架构介绍 ####

<table> 
 <tbody> 
 <tr> 
 <td style="background-color:#c5e0b3;border-color:#000000;width:84.8pt;"> 1）用户接口：Client </td> 
 <td colspan="2" style="border-color:#000000;vertical-align:top;width:410.85pt;"> CLI（command-line interface）、 JDBC/ODBC(jdbc访问hive)、 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#c5e0b3;border-color:#000000;width:84.8pt;"> 2）元数据：Metastore </td> 
 <td colspan="2" style="vertical-align:top;width:410.85pt;"> 元数据包括： 表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore </td> 
 </tr> 
 <tr> 
 <td style="background-color:#c5e0b3;border-color:#000000;width:84.8pt;"> 3）Hadoop </td> 
 <td colspan="2" style="vertical-align:top;width:410.85pt;"> 使用HDFS进行存储，使用MapReduce进行计算。 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#c5e0b3;border-color:#000000;width:84.8pt;"> 4）驱动器：Driver </td> 
 <td style="vertical-align:top;width:184.3pt;"> ·解析器（SQL P arser）： </td> 
 <td style="vertical-align:top;width:226.55pt;"> 将SQL字符串转换成抽象语法树AST， 这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:184.3pt;"> ·编译器（Physical Plan）： </td> 
 <td style="vertical-align:top;width:226.55pt;"> 将AST编译生成逻辑执行计划。 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:184.3pt;"> ·优化器（Query Optimizer）： </td> 
 <td style="vertical-align:top;width:226.55pt;"> 对逻辑执行计划进行优化。 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:184.3pt;"> ·执行器（Execution）： </td> 
 <td style="vertical-align:top;width:226.55pt;"> 把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。 </td> 
 </tr> 
 </tbody> 
</table>

#### 1.2.2 Hive的运行机制 ####

![5991ab5e40964ecc92408b2f605b479a.png][]

hive通过给用户提供的一系列交互接口，接收到的用户的指令（SQl），使用自己的Driver，结合元数据（MetaStore），将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口中。

### 1.3 Hive和 数据库比较 ###

<table> 
 <tbody> 
 <tr> 
 <td style="background-color:#bfbfbf;border-color:#000000;"> </td> 
 <td style="background-color:#bfbfbf;border-color:#000000;"> Hive </td> 
 <td style="background-color:#bfbfbf;border-color:#000000;"> mysql </td> 
 </tr> 
 <tr> 
 <td style="background-color:#a8d08d;border-color:#000000;"> 语言 </td> 
 <td style="vertical-align:top;"> 类sql </td> 
 <td style="vertical-align:top;"> sql </td> 
 </tr> 
 <tr> 
 <td style="background-color:#a8d08d;border-color:#000000;"> 数据规模 </td> 
 <td style="vertical-align:top;"> 大数据pb及以上 </td> 
 <td style="vertical-align:top;"> 数据量小一般百万左右到达单表极限 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#a8d08d;border-color:#000000;"> 数据插入 </td> 
 <td style="vertical-align:top;"> 能增加insert,不能update,delete </td> 
 <td style="vertical-align:top;"> 能insert,update,delete </td> 
 </tr> 
 <tr> 
 <td style="background-color:#a8d08d;border-color:#000000;"> 数据存储 </td> 
 <td style="vertical-align:top;"> Hdfs </td> 
 <td style="vertical-align:top;"> 拥有自己的存储空间 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#a8d08d;border-color:#000000;"> 计算引擎 </td> 
 <td style="vertical-align:top;"> Mapreduce/spark/tez </td> 
 <td style="vertical-align:top;"> 自己的引擎innodb </td> 
 </tr> 
 </tbody> 
</table>

综上所述，Hive压根就不是数据库，hive除了语言类似意外，存储和计算都是使用Hadoop来完成的。而Mysql则是使用自己的，拥有自己的体系。

### 1.4 Hive的优缺点 ###

<table> 
 <tbody> 
 <tr> 
 <td style="background-color:#bfbfbf;border-color:#000000;width:174.05pt;"> 优点 </td> 
 <td colspan="2" style="background-color:#bfbfbf;border-color:#000000;width:348.15pt;"> 缺点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;vertical-align:top;width:174.05pt;"> 1. 提供了类SQl语法操作接口，具备快速开发的能力（简单、易上手） </td> 
 <td style="width:102.15pt;"> 1. Hive的HQL表达能力有限 </td> 
 <td style="vertical-align:top;width:246pt;"> 1）Hive自动生成MapReduce作业，通常情况下不够智能化 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;vertical-align:top;width:174.05pt;"> 2. 避免了去写MapReduce，减少开发者的学习成本 </td> 
 <td style="vertical-align:top;width:246pt;"> 2）数据挖掘方面不擅长（多个子查询），由于MapReduce数据处理流程的限制，效率更高的算法却无法实现 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;vertical-align:top;width:174.05pt;"> 3. Hive优势在于处理大数据，在处理小数据时没有优势，因为Hive的执行延迟较高。 </td> 
 <td style="width:102.15pt;"> 2. Hive的效率比较低 </td> 
 <td style="vertical-align:top;width:246pt;"> 1）Hive的执行延迟比较高，因为Hive常用于数据分析，对实时性要求不高的场合 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:246pt;"> 2）Hive调优比较困难，粒度较粗 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;vertical-align:top;width:174.05pt;"> 4. Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数 </td> 
 <td style="width:102.15pt;"> 3. Hive不支持实时查询和行级别更新 </td> 
 <td style="vertical-align:top;width:246pt;"> hive分析的数据是存储在HDFS上的，而HDFS仅支持追加写，所以在hive中不能update和delete，只能select和insert。 </td> 
 </tr> 
 </tbody> 
</table>

[54cd2cc597a44ded9b229bec383a5920.png_pic_center]: https://img-blog.csdnimg.cn/54cd2cc597a44ded9b229bec383a5920.png#pic_center
[46a89f4355fc478d90ee64c3be569d13.png_pic_center]: https://img-blog.csdnimg.cn/46a89f4355fc478d90ee64c3be569d13.png#pic_center
[65d644ea9b4d4d269a8169bc9061ca23.png]: https://img-blog.csdnimg.cn/65d644ea9b4d4d269a8169bc9061ca23.png
[79cc20e2a5a14c8da44064102ae9c8ab.png]: https://img-blog.csdnimg.cn/79cc20e2a5a14c8da44064102ae9c8ab.png
[fb85db790a314f0bbf48a97a7a567483.png]: https://img-blog.csdnimg.cn/fb85db790a314f0bbf48a97a7a567483.png
[a8711f422fbe454fab34ca3958261d72.png]: https://img-blog.csdnimg.cn/a8711f422fbe454fab34ca3958261d72.png
[5991ab5e40964ecc92408b2f605b479a.png]: https://img-blog.csdnimg.cn/5991ab5e40964ecc92408b2f605b479a.png