Hive 基础原理

淡淡的烟草味﹌ 2022-05-22 00:45 230阅读 0赞

**为什么有有hive ？**

便于一些不会java的人对HDFS上的数据执行MapReduec操作。

Hive是一种数据仓库

HIVE: 解释器      编译器       优化器   sql ——》执行计划

Hive运行时，元数据储存在关系型数据库里

Hive不支持事物，非实时，不支持行级别的CRUD。因为HDFS不支持

数据库：业务数据。  三大范式，减少冗余。给业务系统支撑

数据仓库：历史数据。HDFS 引入冗余，保证数据安全，面向分析

元数据：描述数据的数据（表的属性，字段）存储在关系型数据库里（mysql）（derby自带）

架构图      hadoop2.0以后把 job tracker 改为 resourcemanager

![70][]

连接hive的三种方式

1 cli    命令行

2 jdbc、odbc  通过thrift协议连接

3 web gui

4 流行工具 hue

Hive架构 ： 编译器将一个hive ql 转化成一个操作符

操作符是hive的最小处理单元

每个操作符代表HDFS上的一个操作或者一个MapReduce作业

操作符源码是一种树型结构

**Hive语法解析**

hive采用antlr词法语法解析工具解析hql

parser     将HQL转换成抽象语法树

semantic analyzer 将抽象语法树转化成查询块

logic plan generate  将查询块转化成逻辑查询计划

logical optimizer 重写逻辑查询计划

physical plan generator 将逻辑计划转化成物理执行计划 （mr jobs）

physical optimizer 选择最佳执行策略

**Hive三种模式**

**1  local 模式**

**采用自带的derby数据库存储元数据**

**2  单用户模式**

**采用mysql 存储元数据**

**![20180613134135452][]**

**3 多用户模式**

**用户非java客户端访问元数据数据库，在服务器端启动metastoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库**

**![20180613134058407][]**

**<name>hive.metastore.warehouse.dir</name>**

**这个文件夹在hdfs上存的是表的具体数据**

**表的元数据信息存在mysql里对应数据库里有两个表：TBLS里的TBL\_ID字段对应columns\_2的CD\_ID字段**

**hive里有一种hql不转化成mr job**

**包含\* 的查询 ，select \* from zxy；**

**                        select id from zxy；**

[70]: /images/20220522/e4ea6ecc478f47afad90d292563d235c.png
[20180613134135452]: /images/20220522/62678bf0728b403c9153709fc3ad1998.png
[20180613134058407]: /images/20220522/94eb727177f141c4b4dcddf25d48c8a4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，230人围观）

还没有评论，来说两句吧...

相关阅读

相关 HIVE 基础（三）

目录建表语句表数据 Hive建表高阶语句 - CTAS and WITH CTAS – as select方式建表 CTE (CTAS with Common T

小咪咪/ 2024年03月26日 12:06/ 0 赞/ 58 阅读

相关 HIVE 基础（二）

目录 Hive数据类型 - 集合数据类型 Hive数据结构创建静态表加载本地文件加载HDFS文件加载数据后覆盖原数据创建分区表分区表插入数据查

冷不防/ 2024年03月26日 10:32/ 0 赞/ 68 阅读

相关 HIVE 基础（一）

目录启动hive 方式一方式二修改hdfs上给定文件执行的读写权限创建数据库查看数据库查看数据库详细信息查看当前数据库创建表查看建表语

逃离我推掉我的手/ 2024年03月26日 10:26/ 0 赞/ 57 阅读

相关 Hive(一)：基础

文章目录一、Hive简介 1.1 Hive概述 1.2 Hive的优缺点 1.3 Hive架构原理 1.4

青旅半醒/ 2023年02月17日 01:19/ 0 赞/ 118 阅读

相关 hive架构原理

-------------------- Hive架构原理 -------------------- 1）用户接口：Client CLI（command-line

我不是女神ヾ/ 2022年11月22日 12:43/ 0 赞/ 175 阅读

相关 hive 实践（二）：hive基本原理

Hive基本原理 hive是基于Hadoop的一个[数据仓库][Link 1]工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，

左手的ㄟ右手/ 2022年09月26日 04:56/ 0 赞/ 212 阅读

相关 hive基础概述

hive：数据仓库，Hive是一个基于Hadoop的数据仓库工具，将结构化的数据文件映射成一张表，并提供类SQL的查询功能。 HQL（hive quer

素颜马尾好姑娘i/ 2022年07月15日 06:28/ 0 赞/ 200 阅读

相关 hive基础知识

接触hive也有一段时间了，一直把它当做传统的数据库使用的，没有出现问题。昨天的时候遇到一个问题，就是hive表中的数据有重复了，领导让尽快出方案解决，我想都没想，直接

迷南。/ 2022年05月24日 04:29/ 0 赞/ 195 阅读

相关 Hive 基础原理

为什么有有hive ？便于一些不会java的人对HDFS上的数据执行MapReduec操作。 Hive是一种数据仓库 HIVE: 解释器编译器

淡淡的烟草味﹌/ 2022年05月22日 00:45/ 0 赞/ 231 阅读

相关 hive基础

（一）： Hive 是什么在接触一个新的事物首先要回到的问题是：这是什么？这里引用 Hive wiki 上的介绍： Hive is a d

港控/mmm°/ 2022年03月16日 06:28/ 0 赞/ 240 阅读