Hive集成HBase详解

分手后的思念是犯贱 2022-04-24 11:52 297阅读 0赞

**摘要**

Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询

**应用场景**

**1. 将ETL操作的数据存入HBase**

![776259-20160725161314981-225114891.png][]

**2. HBase作为Hive的数据源**

![776259-20160725161331716-275437269.jpg][]

**3. 构建低延时的数据仓库**

![776259-20160725161339997-358332375.jpg][]

**使用**

1.**从Hive中创建HBase表**

*  **使用HQL语句创建一个指向HBase的Hive表**

CREATE TABLE hbase_table_1(key int, value string) //Hive中的表名hbase_table_1
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  //指定存储处理器
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") //声明列族，列名
    TBLPROPERTIES ("hbase.table.name" = "xyz", "hbase.mapred.output.outputtable" = "xyz");  
    //hbase.table.name声明HBase表名，为可选属性默认与Hive的表名相同，
    //hbase.mapred.output.outputtable指定插入数据时写入的表，如果以后需要往该表插入数据就需要指定该值

*  **通过HBase shell可以查看刚刚创建的HBase表的属性**

![复制代码][copycode.gif]

$ hbase shell
    HBase Shell; enter 'help<RETURN>' for list of supported commands.
    Version: 0.20.3, r902334, Mon Jan 25 13:13:08 PST 2010
    hbase(main):001:0> list
    xyz                                                                                                           
    1 row(s) in 0.0530 seconds
    hbase(main):002:0> describe "xyz"
    DESCRIPTION                                                           ENABLED                               
      {NAME => 'xyz', FAMILIES => [{NAME => 'cf1', COMPRESSION => 'NONE', VE true                                  
      RSIONS => '3', TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY =>                                       
      'false', BLOCKCACHE => 'true'}]}                                                                            
    1 row(s) in 0.0220 seconds
    
    hbase(main):003:0> scan "xyz"
    ROW                          COLUMN+CELL                                                                      
    0 row(s) in 0.0060 seconds

![复制代码][copycode.gif]

*  **使用HQL向HBase表中插入数据**

INSERT OVERWRITE TABLE hbase_table_1 SELECT * FROM pokes WHERE foo=98;

*  **在HBase端查看插入的数据**

hbase(main):009:0> scan "xyz"
    ROW                          COLUMN+CELL                                                                      
     98                          column=cf1:val, timestamp=1267737987733, value=val_98                            
    1 row(s) in 0.0110 seconds

**2.从Hive中映射HBase**

*  **创建一个指向已经存在的HBase表的Hive表**

CREATE EXTERNAL TABLE hbase_table_2(key int, value string) 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = "cf1:val")
    TBLPROPERTIES("hbase.table.name" = "some_existing_table", "hbase.mapred.output.outputtable" = "some_existing_table");

该Hive表一个外部表，所以删除该表并不会删除HBase表中的数据

**注意**

1.  建表或映射表的时候如果没有指定:key则第一个列默认就是行键
2.  HBase对应的Hive表中没有时间戳概念，默认返回的就是最新版本的值
3.  由于HBase中没有数据类型信息，所以在存储数据的时候都转化为String类型

**3.多列及多列族的映射**

如下表：value1和value2来自列族a对应的b c列，value3来自列族d对应的列

![复制代码][copycode.gif]

CREATE TABLE hbase_table_1(key int, value1 string, value2 int, value3 int) 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES (
    "hbase.columns.mapping" = ":key,a:b,a:c,d:e"
    );
    INSERT OVERWRITE TABLE hbase_table_1 SELECT foo, bar, foo+1, foo+2 
    FROM pokes WHERE foo=98 OR foo=100;

![复制代码][copycode.gif]

**4.Hive Map类型在HBase中的映射规则**

如下表:通过Hive的Map数据类型映射HBase表，这样每行都可以有不同的列组合，列名与map中的key对应，列值与map中的value对应

![复制代码][copycode.gif]

CREATE TABLE hbase_table_1(value map<string,int>, row_key int) 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES (
    "hbase.columns.mapping" = "cf:,:key"
    );
    INSERT OVERWRITE TABLE hbase_table_1 SELECT map(bar, foo), foo FROM pokes 
    WHERE foo=98 OR foo=100;

![复制代码][copycode.gif]

cf为列族，其列名对应map中的bar,列值对应map中的foo

*  **在HBase下查看数据**

hbase(main):012:0> scan "hbase_table_1"
    ROW                          COLUMN+CELL                                                                      
     100                         column=cf:val_100, timestamp=1267739509194, value=100                            
     98                          column=cf:val_98, timestamp=1267739509194, value=98                              
    2 row(s) in 0.0080 seconds

*  **在Hive下查看数据**

![复制代码][copycode.gif]

hive> select * from hbase_table_1;
    Total MapReduce jobs = 1
    Launching Job 1 out of 1
    ...
    OK
    {"val_100":100}    100
    {"val_98":98}    98
    Time taken: 3.808 seconds

![复制代码][copycode.gif]

注意:由于map中的key是作为HBase的列名使用的，所以map中的key类型必须为String类型

**以下映射语句都会报错**

**1.**

CREATE TABLE hbase_table_1(key int, value map<int,int>) 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES (
    "hbase.columns.mapping" = ":key,cf:"
    );

原因：map中的key必须是String

**2.**

CREATE TABLE hbase_table_1(key int, value string) 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES (
    "hbase.columns.mapping" = ":key,cf:"
    );

原因：当hbase.columns.mapping中的列族后面为空时(形如cf:),说明在Hive中其对应的数据类型为map，而这条语句中对应的是String所以报错

**5.Hive还支持简单的复合行键**

如下：创建一张指向HBase的Hive表，行键有两个字段，字段之间使用~分隔

CREATE EXTERNAL TABLE delimited_example(key struct<f1:string, f2:string>, value string) 
    ROW FORMAT DELIMITED 
    COLLECTION ITEMS TERMINATED BY '~' 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
    WITH SERDEPROPERTIES (
      'hbase.columns.mapping'=':key,f:c1');

**6.使用Hive集成HBase表的需注意**

1.  对HBase表进行预分区，增大其MapReduce作业的并行度
2.  合理的设计rowkey使其尽可能的分布在预先分区好的Region上
3.  通过set hbase.client.scanner.caching设置合理的扫描缓存

参考资料：

[Hive HBase Integration][]

[776259-20160725161314981-225114891.png]: /images/20220215/23bd3e32e75a483580046b824ebe0b04.png
[776259-20160725161331716-275437269.jpg]: /images/20220215/6f49d6c027a443598a058f341653f0e6.png
[776259-20160725161339997-358332375.jpg]: /images/20220215/13f7e381ae7b411aaabaaaf5e15bed24.png
[copycode.gif]: /images/20220215/3e60900ebd3a42a78270e8ae1e643861.png
[Hive HBase Integration]: http://www.cnblogs.com/Hive%20HBase%20Integration

发表评论取消回复

表情：

评论列表（有 0 条评论，297人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hbase和Hive集成

Hbase和Hive集成 1.目的 HBase是一个数据库！是一个NoSQL数据库! Hive是一个分析工具！类SQL分析框架！ HBase和Hive集成的

骑猪看日落/ 2023年01月09日 03:54/ 0 赞/ 136 阅读

相关 Hive与HBase的集成

Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase

柔情只为你懂/ 2022年12月27日 11:14/ 0 赞/ 152 阅读

相关 Hive HBase 集成

Hive HBase集成 Avro 数据存储在 HBase 列中介绍用法列映射多个

末蓝、/ 2022年10月13日 05:23/ 0 赞/ 41 阅读

相关 Atlas集成外部组件—集成Hive、HBase、Kafka

目录 1、集成Hive 1.1 历史元数据处理 2、集成HBase 2.1历史元数据导入 3、集成Kafka 3.1Bug规避 3.1.1 发现bug 3.1.

深碍√TFBOYSˉ_/ 2022年08月31日 04:49/ 0 赞/ 274 阅读

相关 hive与hbase集成

`` `简介` 这篇文章最初是基于介绍[HIVE-705][]。这个功能允许Hive QL命令访问HBase表，进行读（select）、写（insert）操作。它甚至可

我就是我/ 2022年08月26日 08:12/ 0 赞/ 139 阅读

相关 Hive集成HBase（二）

[Hive集成HBase（一）][Hive_HBase] [Hive集成HBase（二）][Hive_HBase 1] 1.添加依赖jar 在Hive启动时添加依赖j

比眉伴天荒/ 2022年08月21日 04:54/ 0 赞/ 145 阅读

相关 Hive集成HBase（一）

[Hive集成HBase（一）][Hive_HBase] [Hive集成HBase（二）][Hive_HBase 1] 在介绍Hive集成HBase的使用之前，我们先

灰太狼/ 2022年08月21日 04:20/ 0 赞/ 165 阅读

相关 hive与hbase集成

[hive与hbase集成][hive_hbase] 这篇文章最初是基于介绍[HIVE-705][]。这个功能允许Hive QL命令访问HBase表，进行读（select）、

迈不过友情╰/ 2022年08月07日 12:56/ 0 赞/ 165 阅读

相关 Hive集成HBase详解

摘要 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询应用场景 1. 将ETL操作

分手后的思念是犯贱/ 2022年04月24日 11:52/ 0 赞/ 298 阅读

相关 Hive和hbase集成操作

摘要 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询应用场景 1. 将ETL操作

电玩女神/ 2022年03月31日 04:56/ 0 赞/ 216 阅读