走进大数据,了解Hive

青旅半醒 2021-11-16 16:20 355阅读 0赞

**一.Hive的出现**

**Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给Apache软件基金会.**

**二.什么是Hive**

**1.官方声明(翻译后):****ApacheHive™数据仓库软件可以使用sql方便地读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序，将用户连接到Hive.**

**2.Hive也被称作数据仓库,可理解为是一种数据库，但是区别于我们寻常的数据库,比如说Mysql.**

**3.a.Hive是建立在HDFS文件系统上的.**

**b.Hive的表其实就是HDFS上的目录或者文件.**

**c.Hive允许熟悉MapReduce开发者自定义开发mapper和reducer来处理內建mapper和reducer无法完成的复杂的分析工作.**

**d.Hive采用了简单的类sql 查询语言,方便熟悉sql的用户查询**

**e.Hive有SQL解析引擎,它将SQL转换成MapReduce job,然后在Hadoop上执行.**

**三,Hive的特点**

**1,数据仓库的数据是面向主题的**

**2,数据仓库的数据是集成的**

**3.数据仓库的数据是不可更新的**

**4,数据仓库的数据是随时间不断变化**

**四,Hive元数据管理**

**Hive的元数据存储在我们传统的数据库中,被默认创建在derby数据库中，以表的形式保存数据、表的元信息、列元信息。**

**Hive中元数据存储表的详细信息,包括表名字，表的列和分区，表的类型(是否为外部表)，表的数据所在的目录等.**

**五.Hive的架构**

**Hive****通过给用户提供的一系列交互接口，接收到用户的指令(SQL),使用Driver,结合元数据,将指令经过解析器解析指令(SQL)、编译器编译成逻辑计划、优化器优化计划、最后执行器将逻辑计划转换成可以运行的MapReduce或者Spark.**

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

**六,Hive数据类型**

**基本数类型:**

**tinyint/smallint/int/bigint:整型**

**float/double:浮点数类型**

**string/varchar/char:字符串类型**

**varchar,最大字符串**

**char，固定长度**

**复杂数据类型:**

**struct：结构类型,包含不同数据类型的元素.**

**map:集合类型，包含<key,value>键值对，可以通过key访问.**

**array:数组类型，由许多相同数据类型的元素组成.**

**七. Hive优势劣势:**

**A.优势:**

**a.采用类SQL,学习简单**

**b.Hive可以把SQL转换成MR Job,不用去写mapreduce,减少开发人员学习成本**

**c.Hive可处理大数据，反而对处理小数据不太在行,当然，延时较高.**

**d.Hive支持用户自己写函数.**

**B.劣势:**

**a.Hive 的效率比较低**

**b.Hive的HQL的表达能力有限**

![640?wx\_fmt=png][640_wx_fmt_png]

[640_wx_fmt_jpeg]: /images/20211116/663f95abf4c54cac9a396462556a371d.png
[640_wx_fmt_png]: /images/20211116/4751d6c925aa4cd0bb3bb4ad886db632.png

发表评论取消回复

表情：

评论列表（有 0 条评论，355人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive实战(03)-深入了解Hive JDBC：在大数据世界中实现数据交互

在大数据领域，Hive作为一种数据仓库解决方案，为用户提供了一种SQL接口来查询和分析存储在Hadoop集群中的数据。为了更灵活地与Hive进行交互，我们可以使用Hive JD

女爷i/ 2024年02月23日 02:01/ 0 赞/ 25 阅读

相关走进大数据丨 String、StringBuffer和StringBuilder详解

String操作详解 StringBuilder>StringBuffer>String why? String:字符串常量 StringBuffer:字符串变量

ゝ一纸荒年。/ 2023年06月30日 01:54/ 0 赞/ 111 阅读

相关走进大数据丨 ZooKeeper典型的应用场景

Zookeeper 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zo

﹏ヽ暗。殇╰゛Y/ 2023年06月27日 11:15/ 0 赞/ 8 阅读

相关走进大数据丨 Hadoop生态体系

Hadoop是一个由Apache基金会所开发的分布式系统的基础架构。用户可以在不了解分布式的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop优点

你的名字/ 2023年06月19日 11:05/ 0 赞/ 47 阅读

相关走进大数据丨 YARN

概念 YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件 Cli

客官°小女子只卖身不卖艺/ 2023年06月19日 11:05/ 0 赞/ 39 阅读

相关走进大数据丨 Kafka(三)

常见的Message Queue对比 RabbitMQ RabbitMQ是使用Erlang编写的一个开源消息队列，本身支持很多协议:AMQP、XMPP、SMPT、STOMP

逃离我推掉我的手/ 2023年06月19日 11:05/ 0 赞/ 40 阅读

相关 Hive进阶之Hive数据导入

使用load语句导入数据 \-语法： LOAD DATA \[LOCAL\] INPATH 'filepath' \[OVERWRITE\] INTO TABLE ta

墨蓝/ 2022年06月13日 03:53/ 0 赞/ 521 阅读

相关走进大数据开源项目

转自：[http://mp.weixin.qq.com/s/nUiEDyfeu\_md828Sr7dxng][http_mp.weixin.qq.com_s_nUiEDyfeu

港控/mmm°/ 2022年06月07日 08:08/ 0 赞/ 289 阅读

相关走进大数据,了解Hive

一.Hive的出现 Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给Apache软件基金会. 二.什么是Hive 1.

青旅半醒/ 2021年11月16日 16:20/ 0 赞/ 356 阅读

相关大数据_Hive

大数据\_Hive 数据仓库数据库与数据仓库的区别数仓的分层架构 Hive 简介架构

我不是女神ヾ/ 2021年10月06日 04:26/ 0 赞/ 389 阅读