学习数据仓库Hive

秒速五厘米 2024-04-17 06:03 57阅读 0赞

**数据分析引擎：****hive**

**大数据的终极目标：****使用SQL语句来处理大数据 **

**1，hadoop的体系架构中:**

** 两个数据分析引擎:(\*)Hive:支持sql**

**                           （\*）Pig:支持PigLatin**

** 一，什么是hive?**

1，hive是一个基于hdfs之上的数据仓库

hive                hdfs

表                   目录

数据                文件

分区表            目录

分桶                文件

2，hive是基于hadoop之上的一个数据分析引擎

也就是说Hive是一个翻译器（hive 2.x以前：sql语句由hive编译成mr，hive2.x以后:sql语句由hive编译成spark程序）

3，hql是sql的一个子集，不完全支持sql

** 二，hive的体系架构**

hive是基于在hdfs之上的，数据也是存在于我们的从节点Datanode上面的。

第一种方式：我们可以通过cli命令行写sql语句，然后由Hive Driver转换成MR任务去处理数据

第二种方式:通过jdbc的方式，需要指定url确定访问地址，而且需要通过中间人（1.x Thrift server 2.x HiveServer2  端口都是10000）把sql语句提交给我们的hiveDriver驱动

第三种方式 基于网页去执行sql，用HWI(Hive Web Interface只有hive2.2版本以前才提供，2.2之后使用HUE去使用)去提交sql到HiveDriver上去运行.

注意：hive架构中元数据要单独存储在数据库中（推荐使用mysql去存储），通过读取mysql数据库中存储的hive元数据得到hive里面存储的真正的数据(数据模型)，

因为hive元数据存储了hive的表名、列名、列的类型 、分区、分桶、其他信息.

**三，hive的数据模型**

1，内部表：类似于Mysql,Oracle里面的表

2，外部表：只定义表结构，真正的数据存储在hdfs的某个目录上。可以通过查看外部表的方式查看到这一个路径下所有的表信息

3，分区表：提升性能（按部门分区）

你可以按某个字段去分区，比如你有张员工表，表里肯定有部门号，按照部门号分区，也就是把属于同一个部门的员工放在一张表里管理，那么在查询的时候就可以只扫描这张表，从而提升效率

4，分桶表：类似hash分区，判断某个字段值的hash是否一样，一样的话分一个桶。

例如：我们还是拿员工表举例，取部门号的hash值，把所有数据的部门hash值一样的数据分在一个桶（桶是以文件形式存在的，区是以目录形式存在的）里面。

5，视图

视图的存在是为了简化复杂的查询,就是将复杂的sql结果保留成视图，下次直接查询视图就可以得到结果。比如你把查询部门号为10的员工保留成视图，下次直接查询视图就可得到结果

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/16/4674ff9e6ca64f07bfedf45f9ffcd252.png

发表评论取消回复

表情：

评论列表（有 0 条评论，57人围观）

还没有评论，来说两句吧...

相关阅读

相关学习数据仓库Hive

*数据分析引擎：****hive** **大数据的终极目标：****使用SQL语句来处理大数据 ** **1，hadoop的体系架构中:** ** 两个数据分析引擎...

秒速五厘米/ 2024年04月17日 06:03/ 0 赞/ 58 阅读

相关 HIVE—数据仓库

1、 hive是什么？ Hive是基于 Hadoop 的一个数据仓库工具： 1. hive本身不提供数据存储功能，使用HDFS做数据存储； 2.

不念不忘少年蓝@/ 2023年01月02日 05:23/ 0 赞/ 274 阅读

相关数据仓库学习

数据仓库学习转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容： [系列 | 漫谈数仓第一篇NO.1 『基础架构』][_

骑猪看日落/ 2023年01月01日 03:56/ 0 赞/ 37 阅读

相关大数据仓库Hive部署安装

在安装hive之前，请先确保已经搭建好hadoop环境，如果没有完成hadoop环境搭建，可参考文章[最全面的CentOS下hadoop的分布式搭建][CentOS_hadoo

「爱情、让人受尽委屈。」/ 2022年12月23日 11:11/ 0 赞/ 326 阅读

相关大数据学习之Hive数据仓库

文章目录前言数据仓库数据库与数据仓库的区别数据仓库的分层架构数据模型

矫情吗；*/ 2022年09月05日 00:14/ 0 赞/ 266 阅读

相关大数据Hive系列之Hive数据仓库部署

一、部署准备 Hive依赖于Hadoop分布式集群，Hadoop分布式集群部署参考文章：[Apache Hadoop 分布式集群部署][Apache Hadoop]

柔光的暖阳◎/ 2022年05月23日 08:00/ 0 赞/ 343 阅读

相关 5.1 hive数据仓库

hive：是数据仓库，不是数据库，是非Java编程者对hdfs的数据做mapreduce操作，把SQL语言转化为mapreduce语言数据仓库：存的是历史数据，做分析用，增

亦凉/ 2022年05月23日 03:38/ 0 赞/ 188 阅读

相关大数据Hadoop之Hive数据仓库安装

Hive只在一个节点上安装即可 1.上传tar包 2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.安装mysql

川长思鸟来/ 2022年01月16日 14:47/ 0 赞/ 312 阅读

相关数据仓库Hive

目录一、 Hive中的DDL和DML的使用二、Hive内置函数与Hive自定义函数三、Hive调优策略 ![在这里插入图片描述][2019062

悠悠/ 2021年12月24日 01:41/ 0 赞/ 344 阅读

相关 Hive数据仓库与数据库的异同

由于[Hive][]采用了SQL的查询语言HQL，因此很容易将[hive][Hive]理解为[数据库][Link 1]。其实从结构上来看，Hive和数据库除了拥有类似的查询语言

绝地灬酷狼/ 2021年09月14日 04:08/ 0 赞/ 407 阅读