Hive行列转换

- 日理万妓 2022-11-29 12:28 265阅读 0赞

### 文章目录 ###

*  Hive行列转换
 *   *   *  1、行转列 (根据主键，进行多行合并一列)
         *  1.1、构建测试数据
         *  1.2、建表
         *  1.3、加载数据
         *  1.4、执行转换
         *  2、列转行 (对某列拆分，一列拆多行)
         *  2.1、构建测试数据
         *  2.2、建表
         *  2.3、加载数据
         *  2.4、执行转换

# Hive行列转换 #

### 1、行转列 (根据主键，进行多行合并一列) ###

使用函数：concat\_ws(‘,’,collect\_set(column))

*  collect\_list 不去重
 *  collect\_set 去重
 *  column 的数据类型要求是 string

### 1.1、构建测试数据 ###

vi row_to_col.txt
    
    a   b   1 
    a   b   2 
    a   b   3 
    c   d   4 
    c   d   5 
    c   d   6

### 1.2、建表 ###

create table tmp_jiangzl_test
    (
    col1 string,
    col2 string,
    col3 string
    )
    row format delimited fields terminated by '\t'
    stored as textfile;

### 1.3、加载数据 ###

load data local inpath '/root/test-temp/row_to_col.txt' into table tmp_jiangzl_test;

### 1.4、执行转换 ###

select col1,col2,concat_ws(',',collect_set(col3)) as bian
    from tmp_jiangzl_test  
    group by col1,col2;

![在这里插入图片描述][20200820200750755.png_pic_center]

--------------------

### 2、列转行 (对某列拆分，一列拆多行) ###

使用函数：lateral view explode(split(column, ‘,’)) num

### 2.1、构建测试数据 ###

vi col_to_row.txt
    
    a   b   1,2,3
    c   d   4,5,6

### 2.2、建表 ###

create table col_to_row_test(
    col1 string,
    col2 string,
    col3 string
    )
    row format delimited fields terminated by '\t'
    stored as textfile;

### 2.3、加载数据 ###

load data local inpath '/root/test-temp/col_to_row.txt' into table col_to_row_test;

### 2.4、执行转换 ###

select col1, col2, col3_new 
    from col_to_row_test a 
    lateral  view explode(split(col3,',')) b AS col3_new;

![在这里插入图片描述][20200820204149491.png_pic_center]

[20200820200750755.png_pic_center]: /images/20221124/da1aacf291174e41857e883f0224e10a.png
[20200820204149491.png_pic_center]: /images/20221124/2b2d5a48207046c391a267d8eec7035f.png