2.8.12 hadoop体系之离线计算-HBase数据库-HBase高级-HBase与Hive交互

Myth丶恋晨 2022-12-27 04:45 140阅读 0赞

**目录**

0.HBase与Hive的对比

0.1 Hive（分析框架）

0.2 HBase（存储框架）

1.前置准备

2.Hive读取HBase中的数据

3.Hive写入数据到HBase中

--------------------

# 0.HBase与Hive的对比 #

## 0.1 Hive（分析框架） ##

(1) 数据仓库 Hive 的本质其实就相当于**将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系**，以方便使用 HQL 去管理查询。

(2) 用于数据分析、清洗 Hive 适用于离线的数据分析和清洗，延迟较高。

(3) 基于 HDFS、MapReduce Hive 存储的数据依旧在 DataNode 上，编写的 HQL 语句终将是转换为 MapReduce 代码执行。

## 0.2 HBase（存储框架） ##

(1) 数据库是一种**面向列族存储**的非关系型数据库。

(2) 用于存储结构化和非结构化的数据适用于单表非关系型数据的存储，不适合做关联查询，类似 JOIN 等操作。

(3) 基于 HDFS 数据持久化存储的体现形式是 HFile，存放于 DataNode 中，被 ResionServer 以 region 的形式进行管理。

(4) 延迟较低，接入在线业务使用面对大量的企业数据，HBase 可以直线单表大量数据的存储，同时提供了高效的数据访问速度。

# 1.前置准备 #

jdk 1.8

hadoop 2.7.7集群

zookeeper 3.5.7集群

hbase 1.4.13集群

mysql 5.3 node01单机

hive 2.3.6 node01单机（mysql-connector-java-8.0.15）

# 2.Hive读取HBase中的数据 #

先在**HBase**上创建一张表hbase\_hive（方便测试使用默认命名空间default）

hbase(main):025:0> create 'hbase_hive','info'

向hbase\_hive表中插入两条测试数据

hbase(main):031:0> put 'hbase_hive','user001','info:name','xiaokang'
    hbase(main):032:0> put 'hbase_hive','user001','info:age',18
    hbase(main):033:0> put 'hbase_hive','user002','info:name','xiaokang1'
    hbase(main):034:0> put 'hbase_hive','user002','info:age',19

在**Hive**中创建**外部表hive\_user**并**关联到HBase的hbase\_hive**

create external table hive_user(userid string,name string,age int) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping" = ":key,info:name,info:age") tblproperties("hbase.table.name" = "hbase_hive");

读取**Hive**中表，测试

hive (default)> select * from hive_user;
    OK
    
    Time taken: 0.989 seconds, Fetched: 1 row(s)

向**HBase的hbase\_hive表**中再添加一条数据进行读取测试

hbase(main):033:0> put 'hbase_hive','user003','info:name','xiaokang2'
    hbase(main):034:0> put 'hbase_hive','user003','info:age',20
    
    hive (default)> select * from hive_user;
    OK
    hive_user.userid        hive_user.name  hive_user.age
    user001 xiaokang        18
    user002 xiaokang1       19
    user003 xiaokang2       20
    Time taken: 0.471 seconds, Fetched: 3 row(s)

# 3.Hive写入数据到HBase中 #

先在**HBase**上创建一张表from\_hive（数据导入到此表中）

hbase(main):025:0> create 'from_hive','info'

在**Hive**中创建外部表hive\_user\_hbase并关联到HBase的from\_hive

create external table hive_user_hbase(userid string,name string,age int) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping" = ":key,info:name,info:age") tblproperties("hbase.table.name" = "from_hive");

在**Hive**中创建临时表（用于将数据写入到hive\_user\_hbase）

create temporary table tmp_user(userid string,name string,age int) row format delimited fields terminated by '\t';

在**Hive**中，向临时表中加载数据

load data local inpath '/home/xiaokang/user.txt' into table tmp_user;
    
    #查询验证数据是否加载成功
    hive (default)> select * from tmp_user;
    OK
    tmp_user.userid tmp_user.name   tmp_user.age
    user111 xiaokang        18
    user222 xiaokang        19
    user333 xiaokang        20
    user444 xiaokang        21
    Time taken: 0.379 seconds, Fetched: 4 row(s)

Hive向HBase中写入数据

hive (default)> insert into table hive_user_hbase select * from tmp_user;

在**HBase**中验证数据是否写入

#扫描全表（大数据量的情况下不推荐，会造成机器崩溃）
    hbase(main):041:0> scan 'from_hive'
    ROW                                 COLUMN+CELL
     user111                            column=info:age, timestamp=1585814173216, value=18
     user111                            column=info:name, timestamp=1585814173216, value=xiaokang
     user222                            column=info:age, timestamp=1585814173216, value=19
     user222                            column=info:name, timestamp=1585814173216, value=xiaokang
     user333                            column=info:age, timestamp=1585814173216, value=20
     user333                            column=info:name, timestamp=1585814173216, value=xiaokang
     user444                            column=info:age, timestamp=1585814173216, value=21
     user444                            column=info:name, timestamp=1585814173216, value=xiaokang
    4 row(s) in 0.0320 seconds