hive相关实践操作

﹏ヽ暗。殇╰゛Y 2022-05-15 14:35 245阅读 0赞

# hive建表语句： #

### 1.建内部表 ###

hive (badou)> create table udata(userid int,item\_id int,rating int,\`timestamp\` timestamp)row format delimited fields terminated by ' ';  
OK  
Time taken: 2.254 seconds  
hive (badou)> show tables;  
OK  
udata

create table  if not exists inner\_test (  
aisle\_id string,                                        
aisle\_name string       
)  
row format delimited fields terminated by ',' lines terminated by '\\n'    
stored as textfile    
location '/data/inner';

###    2.建外部表 ###

create external table  if not exists ext\_test (  
aisle\_id string,                                        
aisle\_name string       
)  
row format delimited fields terminated by ',' lines terminated by '\\n'    
stored as textfile    
location '/data/ext';

### 3.建分区表 ###

create table partition\_test(  
order\_id string,                                        
user\_id string,                                        
eval\_set string,                                        
order\_number string,    
order\_hour\_of\_day string,                                        
days\_since\_prior\_order string  
)partitioned by(order\_dow string)  
row format delimited fields terminated by '\\t';

# hive导入数据： #

### 1.从文件导入数据到表 ###

hive (badou)> load data local inpath '/home/dongdong/hive/u.data' overwrite into table udata;  
Loading data to table badou.udata  
OK  
Time taken: 2.335 seconds

### 2.给分区表插入数据 ###

insert overwrite table partition\_test partition (order\_dow='1')  
select order\_id,user\_id,eval\_set,order\_number,order\_hour\_of\_day,days\_since\_prior\_order from orders where order\_dow='1' limit 10;

# Hive删除表中数据 #

方式一：仅删除表中数据，保留表结构

truncate table 表名;

（truncate用于删除所有的行，这个行为在hive元存储删除数据是不可逆的）  
或  delete from 表名 where 1 = 1 ;

（delete用于删除特定条件下的行，使用where 1=1 删除所有行  SQL中where 1 = 1 的使用）

truncate 不能删除外部表！因为外部表里的数据并不是存放在Hive Meta store中

方式二：删除整个表

drop table 表名;  
如果要永久性删除，不准备再恢复：  
drop table 表名 purge;

# 不用终端的方式执行sql #

hive -f create\_table.sql

# hive实现wordcount的sql语句 #

select word,count(\*)  
from (  
select   
explode(split(sentence,''))  
as word  
from article  
)t  
group by word

hive的udf，udtf内置函数

udf实践：

1.java代码并打包成jar：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70][]

2.将jar添加到hive中，并创建临时函数：

![20190223150113984.png][]

3.使用函数及结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 1][]

udtf实践：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 2][]

1.编写java代码并打包成jar：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 3][]

2.添加到hive，并创建临时函数：

![20190223150356848.png][]

3.载入数据并创建hive表：

![20190223150427933.png][]

![2019022315051697.png][]

4.使用函数及结果：

![20190223150532329.png][]

transform（可用shell语言，python语言开发）

shell语言开发：

1.编写awk文件：

![20190223150725801.png][]

2.加入hive

![20190223150802453.png][]

3.使用awk脚本，及结果：

![20190223150856521.png][]

![20190223150908829.png][]

python实践：

![20190223150938800.png][]

使用1：

![20190223151005705.png][]

把py文件添加到hive中：

![20190223151106313.png][]

使用及结果：

![20190223151131598.png][]

![20190223151142942.png][]

wordcount实践：

1.创建hive表

![20190223151307571.png][]

2.导入数据：

![20190223151334100.png][]

创建另一张表（存储）：

![20190223151611473.png][]

新建map.py，red.py并add到hive:

![20190223151758858.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 4][]

![20190223151948958.png][]

使用及结果：

![2019022315250640.png][]

![20190223152517835.png][]

把wordcount结果插入到指定表中：

![2019022315264219.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70]: /images/20220503/70d7407622174d5e9615a86537a5d137.png
[20190223150113984.png]: /images/20220503/36c57206bb0341319a6fdb2ceaf24254.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 1]: /images/20220503/182246a72f154411b0ab42900e24b850.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 2]: /images/20220503/6a5d0c0aca9e4dcab48a3d715f00823f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 3]: /images/20220503/40fdc7b5869a4e6387321ce865309adb.png
[20190223150356848.png]: /images/20220503/2c49a954ce6149d1b33e48b9b93c2fcb.png
[20190223150427933.png]: /images/20220503/d541b95da7e743658aa51eb8f028fc0a.png
[2019022315051697.png]: /images/20220503/deb696e4e9e14034a74841fa403d0be1.png
[20190223150532329.png]: /images/20220503/655cd61dab2c40f78839ea5b6cbc21e5.png
[20190223150725801.png]: /images/20220503/1724f042a55e44028034dfba143a124f.png
[20190223150802453.png]: /images/20220503/54802b8b2111426ea9be932a9f60787e.png
[20190223150856521.png]: /images/20220503/4be2cb3bc5d0441f981a0e3c8f319b1d.png
[20190223150908829.png]: /images/20220503/8e39d61eb0b64e4a9e02dab38c216971.png
[20190223150938800.png]: /images/20220503/d669ed9c5ff345f294916dacb612862a.png
[20190223151005705.png]: /images/20220503/0200d71185cf47b691a3a596eab50d5d.png
[20190223151106313.png]: /images/20220503/c5cfecca8a1b4bf5b4c4e989413a64d4.png
[20190223151131598.png]: /images/20220503/ab8ab76890974c388ef42dbc085ea591.png
[20190223151142942.png]: /images/20220503/aa9e477f1bd046ff8ed31bb0c042488c.png
[20190223151307571.png]: /images/20220503/9ad33f5ab5ec4b69a931fa6f63737843.png
[20190223151334100.png]: /images/20220503/4c7ad05dd72449f08a6b3d499ac9f9bb.png
[20190223151611473.png]: /images/20220503/474a204902ec4860880d20d6f45318f3.png
[20190223151758858.png]: /images/20220503/049347f88b6247388d745c33b20dd3f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 4]: /images/20220503/2595425a22584f9fb591855d5ddea094.png
[20190223151948958.png]: /images/20220503/1b42271d675245429de4e211787c5553.png
[2019022315250640.png]: /images/20220503/65f700ec24064f81829e601cb9a66a4f.png
[20190223152517835.png]: /images/20220503/99b846610dab4f39a717c0769e21f3f6.png
[2019022315264219.png]: /images/20220503/5037e5fc2e4b41beb03ee0692c1b4181.png