Hive-列转行(explode,lateral view)

古城微笑少年丶 2022-12-20 05:43 93阅读 0赞

**1．函数说明**  
EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。  
LATERAL VIEW  
用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias  
解释：用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。  
**2．数据准备**

<table> 
 <thead> 
  <tr> 
   <th>movie</th> 
   <th>category</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>《疑犯追踪》</td> 
   <td>悬疑,动作,科幻,剧情</td> 
  </tr> 
  <tr> 
   <td>《Lie to me》</td> 
   <td>悬疑,警匪,动作,心理,剧情</td> 
  </tr> 
  <tr> 
   <td>《战狼2》</td> 
   <td>战争,动作,灾难</td> 
  </tr> 
 </tbody> 
</table>

**3．需求**  
将电影分类中的数组数据展开。结果如下：

《疑犯追踪》      悬疑
    《疑犯追踪》      动作
    《疑犯追踪》      科幻
    《疑犯追踪》      剧情
    《Lie to me》   悬疑
    《Lie to me》   警匪
    《Lie to me》   动作
    《Lie to me》   心理
    《Lie to me》   剧情
    《战狼2》        战争
    《战狼2》        动作
    《战狼2》        灾难

**4．创建本地movie.txt，导入数据**

vi movie.txt

《疑犯追踪》	悬疑,动作,科幻,剧情
    《Lie to me》	悬疑,警匪,动作,心理,剧情
    《战狼2》	战争,动作,灾难

**5．创建hive表并导入数据**

create table movie_info(
        movie string, 
        category array<string>) 
    row format delimited fields terminated by "\t"
    collection items terminated by ",";
    
    load data local inpath "/export/data/movie.txt" into table movie_info;

**6．按需求查询数据**

select
        movie,
        category_name
    from 
        movie_info lateral view explode(category) table_tmp as category_name;

结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/58cfdc1a66084cb1bbc7f5df116fac75.png