Hive与HBase整合

蔚落 2022-11-20 01:56 264阅读 0赞

1、前提分析

  • hive是用来分析数据的、
  • hbase是用来存储数据的

2、整合hive和hbase

2.1、将hbase里的表数据关联到hive中

  1. create database hive2hbase;
  3. create external table if not exists hbase2hive(
  4. rowkey string,
  5. family1 map<string,string>,
  6. family2 map<string,string>,
  7. info map<string,string>
  8. )
  10. stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  11. with serdeproperties("hbase.columns.mapping" = ":key,family1:,family2:,info:")
  12. tblproperties("hbase.table.name" = "mine:student");

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70

  1. select * from hbase2hive;

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 1

数据会随着hbase的数据的增加而增加；

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 2

  1. select * from hbase2hive;

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 3

2.1、将hive里的表数据关联到hbase中

  1. create table hive2hbase(
  2. id string,
  3. name string,
  4. sex string,
  5. age int,
  6. address string
  7. )
  9. stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  10. with serdeproperties("hbase.columns.mapping" = ":key,family1:name,family1:sex,family1:age,family1:address")
  11. tblproperties("hbase.table.name" = "mine:hive2hbase");

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 4

20201122062239948.png

加载数据到hive表：

  1. insert into hive2hbase select * from student;

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 5

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 6

发表评论

表情：
评论列表 （有 0 条评论，264人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hive与HBase整合

    1、前提分析 hive是用来分析数据的、 hbase是用来存储数据的 2、整合hive和hbase 2.1、将hbase里的表数据关联到hive中

    蔚落蔚落/ 0 赞/ 265 阅读

    相关 hive与hbase整合

    开场白： Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive\_hbase-handler.jar工具类 ([Hiv

    红太狼红太狼/ 0 赞/ 289 阅读

    相关 HBase与Hive整合的必要性

            Hive是建立在[Hadoop][]之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS

    清疚清疚/ 0 赞/ 557 阅读