Hive及Impala的Map类型使用案例

分手后的思念是犯贱 2022-12-03 13:15 220阅读 0赞

前文：

当一个用户拥有多个标签(私有属性)或一个标签拥有多个用户时，可以使用map来维护复杂的关系。

# 一、案例 #

## 1.1 建表 ##

这里使用常用的parquet格式展示

drop table if exists hive_map;
    CREATE TABLE hive_map(
    id INT, 
    name MAP < STRING, STRING >
    )
    STORED AS PARQUET;

## 1.2 Hive插入 ##

只能使用MR引擎，否则报错。Impala无法使用str\_to\_map函数。

insert into table hive_map
    select 1,str_to_map(concat_ws(',',collect_list(concat("a",":","a1"))));
    
    insert into table hive_map
    select 2,str_to_map(concat_ws(',',collect_list(concat("b",":","a1"))));
    
    insert into table hive_map
    select 
        id,str_to_map(concat_ws(',',collect_list(concat(key,":",value)))) as name 
    from (
        select 3 as id,'aa' as key,'aa1' as value
        union ALL
        select 3 as id,'bb' as key,'bb2' as value 
        union ALL
        select 3 as id,'cc' as key,'cc3' as value 
    )t1
    group by id;

## 1.3Hive查询 ##

![20200903200032986.png][]

select id,name["a"] from hive_map where name["a"] = "a1";

hive 能直接获取对应的kv关系，但不能直接判断key/value存在。

## 1.4Impala查询 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 1][]

refresh hive_map;
    select 
        id ,info_map.key
    from hive_map,
        hive_map.name as info_map
    where info_map.key = "a";

备注：Impala查询复杂数据类型可以看作是一张表，所以要提取出来再使用，否则只能查询到简单数据类型的字段。

Impala 不能获取对应的kv关系，但能直接判断key/value存在。

[20200903200032986.png]: /images/20221123/4f00f9b375844155bfad5c32f192358d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70]: /images/20221123/45ea190cc4024c539aa1978c641f0cc6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70 1]: /images/20221123/409441fb82884dbc8c39c63554549ee6.png