Hive中的桶表入门（适用于抽样查询）

心已赠人 2022-04-24 11:42 923阅读 0赞

1、基本概念

（1）桶表是对某一列数据进行哈希取值以将数据打散，然后放到不同文件中存储。

（2）在hive分区表中，分区中的数据量过于庞大时，建议使用桶。

（3）在分桶时，对指定字段的值进行hash运算得到hash值，并使用hash值除以桶的个数做取余运算得到的值进行分桶，保证每个桶中有数据但每个桶中的数据不一定相等。

做hash运算时，hash函数的选择取决于分桶字段的数据类型

（4）分桶后的查询效率比分区后的查询效率更高

2、桶表的创建

create table btable1 (id int) clustered by(id) into 4 buckets;

创建只有一个字段（id）的桶表，按照id分桶，分为4个bucket，而bucket的数量等于实际数据插入中reduce的数量。

3、间接加载数据

桶表不能通过load的方式直接加载数据，只能从另一张表中插入数据

4、操作示例

（1）环境配置，使hive能够识别桶

必须按照如下配置：
    vim ~/.hiverc
    添加：set hive.enforce.bucketing = true;

![776222-20171010150328871-842980005.png][]

（2）创建桶表

create table btable1 (id int) clustered by(id) into 4 buckets;

（3）创建中间过渡表并为其加载数据

create table btest2(id int);
    load data local inpath 'btest2' into table btest2;

（4）桶表的数据插入

insert into table btest1 select * from btest2;

（5）修改桶表中bueket数量

alter table btest3 clustered by(name,age) sorted by(age) into 10 buckets;

（6）Hive中的抽样查询

select \* from table\_name tablesample(bucket X out of Y on field);

X表示从哪个桶中开始抽取，Y表示相隔多少个桶再次抽取。

Y必须为分桶数量的倍数或者因子，比如分桶数为6，Y为6，则表示只从桶中抽取1个bucket的数据；若Y为3，则表示从桶中抽取6/3（2）个bucket的数据

![复制代码][copycode.gif]

create table bkt(name string,id string,phone string,card_num bigint,email string,addr string) clustered by(card_num) into 30 buckets;
    create table bak(name string,id string,phone string,card_num bigint,email string,addr string) row format delimited fields terminated by ','
    load data local inpath '/home/xfvm/bak' into table bak;
    insert into table bkt select * from bak;

![复制代码][copycode.gif]

示例：

select \* from bkt tablesample(bucket 2 out of 6 on card\_num)

表示从桶中抽取5（30/6）个bucket数据，从第2个bucket开始抽取，抽取的个数由每个桶中的数据量决定。相隔6个桶再次抽取，因此，依次抽取的桶为：2，8，14，20，26

注意：执行数据插入时，reduce数量等于分桶数量

![776222-20171012115138262-595248136.png][]

5、Hive中的视图（按需查询，提高查询效率）

创建视图时只是创建一个与源表的映射，视图中的字段由用户按需决定。

create view bktview as select bkt.card_num,bkt.name,bkt.email,bkt.addr from bkt

![776222-20171017144632006-809843795.png][]

视图的查询结果，数据实际上仍然存放在源表中。

![776222-20171017144859021-2011087186.png][]

[776222-20171010150328871-842980005.png]: /images/20220215/5b73cf059bf944ceb868f762cf0df35a.png
[copycode.gif]: /images/20220215/e511179acd644a4b89a714ef828ddf90.png
[776222-20171012115138262-595248136.png]: /images/20220215/a996108e69a64a918baeb0cd33e7ab1f.png
[776222-20171017144632006-809843795.png]: /images/20220215/0923ec97f25749c3863cbb71e4f82536.png
[776222-20171017144859021-2011087186.png]: /images/20220215/e442cbad0fe84831b2b71fffd48b01f1.png