iceberg整合hive（从hive读取iceberg表数据）实践02

àì夳堔傛蜴生んèń 2023-01-17 03:20 226阅读 0赞

**目录**

实现目标：

1，创建hadoop catalog

在zeppelin 创建hadoop catalog

2，创建基于hadoop\_catalog的iceberg表

3,从hadoop\_catalog来创建hive表，在hive shell执行

4，向iceberg插入数据验证

5，hive查询

--------------------

# 实现目标： #

在hive查询iceberg表数据

# 1，创建hadoop catalog #

## 在zeppelin 创建hadoop catalog ##

CREATE CATALOG hadoop_catalog WITH (
      'type'='iceberg',
      'catalog-type'='hadoop',
      'warehouse'='hdfs://bi-524:8020/tmp/warehouse',
      'property-version'='1'
    );

注意点： **'warehouse'='*hdfs://bi-524:8020*/tmp/warehouse',**

如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70][]

# 2，创建基于hadoop\_catalog的iceberg表   #

CREATE TABLE hadoop_catalog.test.iceberg_hive (
        id BIGINT,
        name STRING
    );

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1][]

注意：

hadoop\_catalog.test.iceberg\_hive  
“hadoop\_catalog”是上面创建的hadoop catalog名字 ，“test”是hive对应的test库，iceberg\_hive是表名字

iceberg\_hive不需要我们创建  
如果这里报错，需要手动创建test库，我这里本身就存在一个test库，所以不演示了。

#    3,从hadoop\_catalog来创建hive表，在hive shell执行 #

## 1，添加jar ： ##

在hive shell ：

add jar /path/to/iceberg-hive-runtime.jar;

##    2，设置参数： ##

在hive shell ：

SET engine.hive.enabled=true; 
    
    SET iceberg.engine.hive.enabled=true;
    
    SET iceberg.mr.catalog=hive;

3，创建hive表：

在hive shell 客户端执行：

CREATE EXTERNAL TABLE test.iceberg_hive( 
      `id` int, 
      `name` string)
    STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' 
    LOCATION 'hdfs://bi-524:8020/tmp/warehouse/test/iceberg_hive'
    TBLPROPERTIES (
      'iceberg.mr.catalog'='hadoop', 
      'iceberg.mr.catalog.hadoop.warehouse.location'='hdfs://bi-524:8020/tmp/warehouse/test/iceberg_hive'
      );

*** 注意***：这里的hdfs地址一定要精确到 catalog地址 / 库 / 表

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2][]

如果执行不报错，成功的话，我们可以去hdfs web端看到效果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 3][]

# 4，向iceberg插入数据验证 #

zeppelin执行：

INSERT INTO hadoop_catalog.test.iceberg_hive values(2, 'c');

![20210426201713146.png][]

# 5，hive查询 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 4][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70]: /images/20221022/ed6189d0b1904cf0919ea66e1a1f3626.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1]: /images/20221022/e10028325edc40f8a71762cfe28b4dad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2]: /images/20221022/5dcb23d1a5a340cc87f5334507b82fcb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 3]: /images/20221022/2786de92524440d7b3350ed77c5d61a0.png
[20210426201713146.png]: /images/20221022/98ed1433ab7248018b7b5410debaec58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 4]: /images/20221022/bc8e18b7cbcb43ca8b89ad4adf60b1e7.png