Hive中索引，分区，分桶的对比

忘是亡心i 2022-05-24 09:22 205阅读 0赞

### 一、索引 ###

Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。

Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。

**为什么要创建索引？**

Hive的索引目的是提高Hive表指定列的查询速度。

没有索引时，类似'WHERE tab1.col1 = 0' 的查询，Hive会加载整张表或分区，然后处理所有的rows，  
但是如果在字段col1上面存在索引时，那么只会加载和处理文件的一部分。

与其他传统数据库一样，增加索引在提升查询速度时，会消耗额外资源去创建索引表和需要更多的磁盘空间存储索引。

**hive索引的原理**

hive索引的原理是建立索引表，索引表的基本包含几列：1. 源表的索引列；2. \_bucketname hdfs中文件地址 3. 索引列在hdfs文件中的偏移量。原理是通过记录索引列在HDFS中的偏移量，精准获取数据，避免全表扫描。

### 二、分区 ###

为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。

分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。

分区是一种根据“分区列”（partition column）的值对表进行粗略划分的机制。Hive中每个分区对应着表很多的子目录，将所有的数据按照分区列放入到不同的子目录中去。

其实分区就像是一个索引树，将数据一层一层分到各个粒度（例如x年x月x日）

**为什么要分区？**

庞大的数据集可能需要耗费大量的时间去处理。在许多场景下，可以通过分区的方法减少每一次扫描总数据量，这种做法可以显著地改善性能。

数据会依照单个或多个列进行分区，通常按照**时间**、**地域**或者是商业维度进行分区。比如video表，分区的依据可以是电影的种类和评级，另外，按照拍摄时间划分可能会得到更一致的结果。为了达到性能表现的一致性，对不同列的划分应该让数据尽可能均匀分布。最好的情况下，分区的划分条件总是能够对应where语句的部分查询条件。

**Hive分区的原理**

Hive的分区使用HDFS的子目录功能实现。每一个子目录包含了分区对应的列名和每一列的值。但是由于HDFS并不支持大量的子目录，这也给分区的使用带来了限制。我们有必要对表中的分区数量进行预估，从而避免因为分区数量过大带来一系列问题。

**Hive查询通常使用分区的列作为查询条件**。这样的做法可以指定MapReduce任务在HDFS中指定的子目录下完成扫描的工作。使得 **HDFS的文件目录结构可以像索引一样高效利用**。

### 三、分桶（桶表） ###

桶是通过对指定列进行哈希计算来实现的，通过哈希值将一个列名下的数据切分为一组桶，并使每个桶对应于该列名下的一个存储文件。

**为什么要分桶？**

在分区数量过于庞大以至于可能导致文件系统崩溃时，我们就需要使用分桶来解决问题了。

分区中的数据可以被进一步拆分成桶，不同于分区对列直接进行拆分，桶往往使用列的哈希值对数据打散，并分发到各个不同的桶中从而完成数据的分桶过程。

注意，hive使用对分桶所用的值进行hash，并用hash结果除以桶的个数做取余运算的方式来分桶，保证了每个桶中都有数据，但每个桶中的数据条数不一定相等。  
哈希函数的选择依赖于桶操作所针对的列的数据类型。除了数据采样，桶操作也可以用来实现高效的Map端连接操作。记住，在数据量足够大的情况下，分桶比分区，更高的查询效率。

### 四、总结 ###

**索引和分区最大的区别**

就是索引不分割数据库，分区分割数据库。索引其实就是拿额外的存储空间换查询时间，但分区已经将整个大数据库按照分区列拆分成多个小数据库了。

**分区和分桶最大的区别**

就是分桶随机分割数据库，分区是非随机分割数据库。因为分桶是按照列的哈希函数进行分割的，相对比较平均；而分区是按照列的值来进行分割的，容易造成数据倾斜。

其次两者的另一个区别就是分桶是对应不同的文件（细粒度），分区是对应不同的文件夹（粗粒度）。  
注意：普通表（外部表、内部表）、分区表这三个都是对应HDFS上的目录，桶表对应是目录里的文件

发表评论取消回复

表情：

评论列表（有 0 条评论，205人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive 分桶表及作用

Hive 分桶表一.概述分桶和分区的区别？如何创建分桶表？分桶表的作用？二. 补充：通用的 join

我就是我/ 2024年04月07日 14:40/ 0 赞/ 74 阅读

相关 Hive分桶

![8ac99b3f981552515224527077311ec3.jpeg][] 分桶的概述 ![12f338be3a93ca65c343f4301c4e942a.

向右看齐/ 2023年10月13日 14:34/ 0 赞/ 28 阅读

相关 HIVE调优之分桶

分桶规则对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相同的在一个桶中分桶优点

缺乏、安全感/ 2023年08月17日 15:18/ 0 赞/ 106 阅读

相关 HIve 创建分桶表

1 创建分桶表: 把一个大文件拆分小文件来处理分桶也是一种用于优化查询而设计的表类型。创建分桶表时，指定桶的个数和分桶的依据字段，Hive就可以自动将数据分桶存储。查询时只

偏执的太偏执、/ 2023年06月26日 08:18/ 0 赞/ 11 阅读

相关 Hive 数据表的分区和分桶

分区和桶是什么？先了解一下分区和桶这两种数据类型分区：在Hive中，表的每一个分区对应表下的相应目录，所有分区的数据都是存储在对应的目录中。比如wyp表有d

淩亂°似流年/ 2022年12月15日 03:31/ 0 赞/ 220 阅读

相关 Hive 分区表 & 分桶表

本文目录 1.分区表 Ⅰ.分区表基本操作 1.创建分区表语句 2.分区数据准备 3.装载

小灰灰/ 2022年10月16日 06:27/ 0 赞/ 272 阅读

相关 Hive(十九)--分桶

创建带分桶的表建表语句 CREATE TABLE user_info_bucketed(user_id BIGINT, firstname STRING,

痛定思痛。/ 2022年06月09日 05:21/ 0 赞/ 233 阅读

相关 Hive中索引，分区，分桶的对比

一、索引 Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。 Hive索引可以建立在表中的某些列上，以提升一些操作的

忘是亡心i/ 2022年05月24日 09:22/ 0 赞/ 206 阅读

相关深入理解 Hive 分区分桶（Inceptor）

> [大数据核心原理与实践专栏][Link 1] 为何分区分桶我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，

╰半夏微凉°/ 2022年05月13日 23:24/ 0 赞/ 345 阅读

相关 Hive分桶笔记

分桶表与其他表的区别：分桶表是从别的表查询的数据在insert到分桶表中；而其他表是load

我就是我/ 2022年01月14日 06:05/ 0 赞/ 237 阅读