Hbase和Hive集成

骑猪看日落 2023-01-09 03:54 155阅读 0赞

# Hbase和Hive集成 #

## 1.目的 ##

HBase是一个数据库！ 是一个NoSQL数据库!

Hive是一个分析工具！ 类SQL分析框架！

HBase和Hive集成的目的是使用Hive来分析HBase中存储的数据！

[https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration][https_cwiki.apache.org_confluence_display_Hive_HBaseIntegration]

## 2.使用场景 ##

环境要求：

①有HIVE\_HOME 和 HBASE\_HOME这两个环境变量！

②hive集成hbase的jar包：hive-hbase-handler-1.2.1.jar

场景一：HBase中已经存储了大量的数据，只需要使用Hive分析

在Hive中建表，并且和HBase中的数据进行映射！

格式：

CREATE TABLE hbase_table_1(key int, value string) 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
    TBLPROPERTIES ("hbase.table.name" = "xyz", "hbase.mapred.output.outputtable" = "xyz");

映射规则：

*  Hive的表名随便起
 *  Hive表的列的数量需要和Hbase表中列的数量(+1)一致
 *  Hive表中列的类型需要和HBase表中列的类型不能冲突
 *  hbase.columns.mapping要求Hive中每列和hbase中每列映射的顺序必须一直
 *  :key代表rowkey
 *  如果hbase中的表已经存在了，在Hive中映射的必须是外部表
 *  hbase.table.name是可选的，如果不写Hive的表名必须和hbase的表名一致，hbase.mapred.output.outputtable也是可选的，代表使用Hive写数据时，写到hbase的哪张表

CREATE external TABLE hbase_t1(
    rowkey string,
    name string,
    gender string,
    age int
    )
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:name,f3:gender,f2:age")
    TBLPROPERTIES ("hbase.table.name" = "t1");

在Hive中编写HQL分析

场景二：除了使用Hive分析HBase中的数据外，希望使用Hive的insert语句，向hbase插入一些数据

在Hive中建表时，hbase中的表还没建，希望通过Hive执行insert语句，在HBase中建表，顺便生成数据！

CREATE  TABLE hbase_emp(
    id string,
    name string,
    sal double
    )
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:sal")
    TBLPROPERTIES ("hbase.table.name" = "emp");

注意：

使用Hive向HBase插入数据时，如果HBase的表不存在，必须是MANAGED table！

在Hive中编写HQL分析，执行Insert语句插入数据！

## 3.备注 ##

### 3.1 Storage Handler ###

Storage Handler 允许HIve可以分析HDFS之外的数据！要使用Hive分析哪个介质中的数据，只需要提供一个对应的Storage Handler!

例如： 数据在HBase中，必须有hive-hbase-handler！

### 3.2 本地表和非本地表 ###

本地表(native table): 是一种Hive知道如何处理数据的表，无需Storage Handler 。数据就存储在HDFS！

create table ()
    row_format (DELIMITED or SERDE) and STORED

非本地表(non-native table): 是一种必须有Storage Handler 的表！

create table ()
    STORED BY

[https_cwiki.apache.org_confluence_display_Hive_HBaseIntegration]: https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

发表评论取消回复

表情：

评论列表（有 0 条评论，155人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hbase和Hive集成

Hbase和Hive集成 1.目的 HBase是一个数据库！是一个NoSQL数据库! Hive是一个分析工具！类SQL分析框架！ HBase和Hive集成的

骑猪看日落/ 2023年01月09日 03:54/ 0 赞/ 156 阅读

相关 Hive与HBase的集成

Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase

柔情只为你懂/ 2022年12月27日 11:14/ 0 赞/ 170 阅读

相关 Hive HBase 集成

Hive HBase集成 Avro 数据存储在 HBase 列中介绍用法列映射多个

末蓝、/ 2022年10月13日 05:23/ 0 赞/ 71 阅读

相关 hive与hbase集成

`` `简介` 这篇文章最初是基于介绍[HIVE-705][]。这个功能允许Hive QL命令访问HBase表，进行读（select）、写（insert）操作。它甚至可

我就是我/ 2022年08月26日 08:12/ 0 赞/ 163 阅读

相关 Hive集成HBase（二）

[Hive集成HBase（一）][Hive_HBase] [Hive集成HBase（二）][Hive_HBase 1] 1.添加依赖jar 在Hive启动时添加依赖j

比眉伴天荒/ 2022年08月21日 04:54/ 0 赞/ 168 阅读

相关 Hive集成HBase（一）

[Hive集成HBase（一）][Hive_HBase] [Hive集成HBase（二）][Hive_HBase 1] 在介绍Hive集成HBase的使用之前，我们先

灰太狼/ 2022年08月21日 04:20/ 0 赞/ 189 阅读

相关 hive与hbase集成

[hive与hbase集成][hive_hbase] 这篇文章最初是基于介绍[HIVE-705][]。这个功能允许Hive QL命令访问HBase表，进行读（select）、

迈不过友情╰/ 2022年08月07日 12:56/ 0 赞/ 188 阅读

相关 HIVE和HBASE

1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQ

柔情只为你懂/ 2022年05月22日 07:46/ 0 赞/ 195 阅读

相关 Hive集成HBase详解

摘要 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询应用场景 1. 将ETL操作

分手后的思念是犯贱/ 2022年04月24日 11:52/ 0 赞/ 320 阅读

相关 Hive和hbase集成操作

摘要 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询应用场景 1. 将ETL操作

电玩女神/ 2022年03月31日 04:56/ 0 赞/ 241 阅读