impala、hive 操作hbase

蔚落 2022-05-14 07:26 241阅读 0赞

## impala、hive 操作hbase ##

### 数据存储在HBase中，使用Hive执行SQL语句 ###

无论是使用Hive还是Impala还是Spark，第一步都是让他们先知道数据的表结构。  
Hive的内置数据类型可以分为两大类：  
(1)、基础数据类型；  
(2)、复杂数据类型;  
其中，基础数据类型包括：TINYINT、SMALLINT、INT、BIGINT、BOOLEAN、FLOAT、DOUBLE、STRING、BINARY、TIMESTAMP、DECIMAL、CHAR、VARCHAR、DATE。

### 一、创建Hive外部表 ###

#### 1. 先有HBase再有Hive ####

在HBase中已经存在一个名为hbaseanqi的表，表中一列族名为angel，列族中存在五列：name、visible、cdecimal、cdate、position。

需要在Hive中创建一个名为anqi的表，其中表中存在五列：BIGINT型的id、STRING型的name、BOOLEAN型的visible、DECIMAL(12,2)型的cdecimal、TIMESTAMP型的cdate。

Hive中anqi表的id、name、visible、cdecimal和列cdate分别来自于HBase中hbaseanqi表的Rowkey及angel:name、angel:visible、angel:cDecimal、angel:cdate列（angel为列族名）。

那么执行以下语句，在Hive中创建一个外部表：

CREATE EXTERNAL TABLE default.hive_hbase_anqi( 
         id BIGINT,  
         name STRING,  
         visible BOOLEAN,  
         cdecimal DECIMAL(12,2),  
         cdate TIMESTAMP) 
    ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe' 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, angel:name, angel:visible, angel:cdecimal, angel:cdate") 
    TBLPROPERTIES("hbase.table.name" = "hbaseanqi");

可以看到，语句中通过WITH SERDEPROPERTIES指定了Hive与HBase的列映射关系。通过以上语句，在Hive中可以看到结构正确的表，并可以在Hue中看到HBase中的数据。

注意：  
建立起的Hive表中所有字段均变为小写。这同ES-Hive一样。详情见：使用Hive或Impala执行SQL语句，对存储在Elasticsearch中的数据操作。

#### 2. 先有Hive再有HBase ####

因为在Hive中执行上面语句时，Hive需要去HBase中获取一些信息，若是HBase中并无相关表，执行以上语句直接抛出异常：HBase table hbaseanqi doesn’t exist while the table is declared as an external table。

因此在无HBase表的情况下，并不能创建Hive对应表。

这与ElasticSearch和Hive建立关联时的情况不一样。当在ElasticSearch并无相应index-type(索引-类型)时，Hive依然可以创建表成功。

### 二、从HBase读 ###

*  Decimal类型数据求和

SELECT SUM(cdecimal) FROM default.hive_hbase_anqi;

经验证，可以正确的得到精确的求和值。

*  TIMESTAMP类型数据排序

SELECT * from default.hive_hbase_anqi ORDER BY cdate limit 5;

经验证，可以依据TIMESTAMP值正确排序。

*  普通表与外表关联

select * from hive_hbase_anqi,sample_08 WHERE hive_hbase_anqi.id=sample_08.salary;

其中sample\_08表是Hive普通表，hive\_hbase\_anqi是数据存储在HBase中的Hive外表。  
经验证，通过执行上面语句，可以将Hive普通表与Hive的HBase外表进行正确的关联。

### 三、向HBase写 ###

insert OVERWRITE table hive_hbase_anqi select salary,dtime,sdecimal,sname,svisible from sample_09;

将Hive普通表sample\_09中的数据导入Hive外部表anqi中，去HBase中查看，可以看到数据被正确导入。

Hive四种数据导入方式：  
\- 从本地文件系统中导入数据到Hive表；  
\- 从HDFS上导入数据到Hive表；  
\- 从别的表中查询出相应的数据并导入到Hive表中；  
\- 在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。

向HBase写不是很方便。

### 数据存储在HBase中，使用Impala执行SQL语句 ###

在Impala中执行INVALIDATE METADATA 、REFRESH table\_name语句便可让 Impala识别在Hive中新建的或已发生变动的表。

### 一、从HBase读 ###

Hive中建立的表，impala可以直接读取使用。执行复杂SQL语句时，impala明显比hive快很多。  
同样的，我们选择上面（一.2）节中的典型SQL语句进行验证，Impala-SQL均可以快速正确的返回结果，结果与Hive-SQL执行结果一致。

### 二、向HBase写 ###

Impala的插入数据SQL语句与Hive相差很大，Impala更接近标准SQL。

*  普通添加一行

insert into hive_hbase_anqi values(0,'1999-09-09',8.88,'name',true);

通过执行此语句，可以向HBase中添加一行数据。注意values里的顺序，id首位，其它列按列名称排序。  
\- 从HBase其他表导入

insert into hive_hbase_anqi(id,name,cdate) select id,name,udate from hive_hbase_xi;

通过执行此语句，可以向HBase中添加一批从hive\_hbase\_xi表中取到的数据。

发表评论取消回复

表情：

评论列表（有 0 条评论，241人围观）

还没有评论，来说两句吧...

相关阅读

相关【HBase】Docker 安装操作 HBase（图示详解）

1）搜索 HBase 镜像 docker search hbase ![在这里插入图片描述][20210126220001200.png_pic_center]

深碍√TFBOYSˉ_/ 2023年01月11日 10:59/ 0 赞/ 522 阅读

相关 hbase数据库scan操作_hbase数据库操作

2.请编程实现以下功能： (1) createTable(String tableName, String\[\] fields) 创建表，参数 tableName 为表的

青旅半醒/ 2023年01月01日 05:49/ 0 赞/ 188 阅读

相关 Hbase的操作

start-hbase.sh 启动hbase服务 hbase shell 进入hbase命令行 list 显示hbase的table 下面我们看看HBase She

叁歲伎倆/ 2022年09月25日 15:30/ 0 赞/ 252 阅读

相关用Python操作HBase之HBase-Thrift

安装Thrift 安装Thrift的具体操作，请点击链接 [https://blog.csdn.net/y472360651/article/details/790

傷城~/ 2022年09月08日 04:58/ 0 赞/ 179 阅读

相关 java 操作HBase

HBase本身是有java实现的，通过javaapi可以进行高效的访问需要导入HBase/lib目录下所有jar package com.cyh;

╰+哭是因爲堅強的太久メ/ 2022年06月07日 07:47/ 0 赞/ 204 阅读

相关 HBase shell操作

进入shell cd hbase目录/bin hbase shell 创建表 (create 必须在表名后跟上一个列族) create ‘test’,’cf’

末蓝、/ 2022年06月07日 07:44/ 0 赞/ 229 阅读

相关 HBase——MapReduce操作HBase

本节目标：掌握编写MR操作HBase。通过[官方实例][Link 1]，可以看到自定义map函数要继承TableMapper，自定义reduce函数要继承TableRe

谁践踏了优雅/ 2022年05月26日 07:16/ 0 赞/ 397 阅读

相关 impala、hive 操作hbase

impala、hive 操作hbase 数据存储在HBase中，使用Hive执行SQL语句无论是使用Hive还是Impala还是Spark，第一步都是让他们先知道

蔚落/ 2022年05月14日 07:26/ 0 赞/ 242 阅读

相关 Hbase基本操作

1.1 连接HBase 使用`hbase shell`命令来连接正在运行的Hbase实例，该命令位于HBase安装包下的bin/目录。HBase Shell提示符以>符号

Bertha 。/ 2022年04月16日 02:15/ 0 赞/ 501 阅读

相关 HBASE（一）—— HBase的基本操作命令

安装好 HBase 之后，首先启动 HBase，执行 `start-hbase.sh` 命令，然后再执行 `hbase shell` 命令，进入 HBase 的交互界面： !

左手的ㄟ右手/ 2022年04月11日 09:52/ 0 赞/ 324 阅读