Kettle整合Hive

布满荆棘的人生 2022-10-29 10:27 126阅读 0赞

### 目录 ###

*  一.kettle与Hive整合
 *   *  数据准备
     *  从hive中读取数据
     *  把数据保存到hive数据库
     *  执行Hive的HiveSQL语句

# 一.kettle与Hive整合 #

1、从虚拟机下载Hadoop的jar包

/export/servers/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

2、把jar包放置在\\data-integration\\lib目录下  
3、重启kettle，重新加载生效  
关掉之前打开的kettle重新启动！！

## 数据准备 ##

1、连接hive  
2、创建并切换数据库

create database test;
    use test;

3、创建表

create table a(
    a int,
    b int
    )
    row format delimited fields terminated by ',' stored as TEXTFILE;
    show tables;

4、创建数据文件

vim a.txt
    1,11
    2,22
    3,33

5、 从文件加载数据到表

load data local inpath '/export/servers/hive/a.txt' into table a;

6、查询表

select * from a;

## 从hive中读取数据 ##

hive数据库是通过jdbc来进行连接，可以通过表输入控件来获取数据。  
**需求：**  
从hive数据库的test库的a表中获取数据，并把数据保存到Excel中。  
实现步骤：  
1、设计一下kettle组件结构  
选择输入文件夹内的表输入组件：  
![在这里插入图片描述][20210212213253751.png]  
2、配置表输入组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]  
3.配置excel输出组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]  
4.执行文件！

## 把数据保存到hive数据库 ##

hive数据库是通过jdbc来进行连接，可以通过表输出控件来保存数据。  
需求：  
从file\_user.xls中读取数据，把数据保存在hive数据库的test数据库的t\_user表。  
1、设计如下kettle组件结构  
![在这里插入图片描述][20210212214136461.png]  
2、配置 Excel输入组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]  
2、配置表输出组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]  
执行验证  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]

## 执行Hive的HiveSQL语句 ##

Kettle中可以执行Hive的HiveSQL语句，使用作业的SQL脚本。  
**需求：**  
聚合查询weblogs表（以IP和年月分组统计的PV数据），同时建立一个新表保存查询数据。  
准备hive表  
在hive的test数据库下创建weblogs表：

CREATE TABLE `weblogs`(                           
      `client_ip` string,                              
      `full_request_date` string,                      
      `day` string,                                    
      `month` string,                                  
      `month_num` int,                                 
      `year` string,                                   
      `hour` string,                                   
      `minute` string,                                 
      `second` string,                                 
      `timezone` string,                               
      `http_verb` string,                              
      `uri` string,                                    
      `http_status_code` string,                       
      `bytes_returned` string,                         
      `referrer` string,                               
      `user_agent` string) 
      row format delimited fields terminated by '\t' stored as textfile;

导入hive-weblogs下的数据  
![在这里插入图片描述][20210212215736740.png]

load data local inpath '/export/servers/hive/weblogs_parse.txt' into table weblogs;

验证数据

select * from test.weblogs limit 5;

实现步骤：  
1、设计如下作业组件结构  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 10]  
2、配置SQL组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 11]  
3、测试数据是否生成  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 12]

[20210212213253751.png]: /images/20221024/a4521b579bab476b8608be7f26d1ee89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221024/91c6b4e1d8e44ee285ff2c81eea751be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: /images/20221024/3937907b297f458dba99a7895664392e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]: /images/20221024/a41411c6875f4ee4b17db528491c9b1d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]: /images/20221024/c2eff3e5f82c4188aeca421413a2015b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]: /images/20221024/9d20b1f0e3044a769a478fb0378b38e4.png
[20210212214136461.png]: /images/20221024/ee1d06b605b34f3499cb39ba0036b8bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]: /images/20221024/d40ceb0fdd78470ba6005f5830307699.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]: /images/20221024/54221f5dfc184306914e569d3aeaf8ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]: /images/20221024/131a4cdc5eed48908dedb18066f351e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]: /images/20221024/181b0efc105140f98fef50a85a406ba5.png
[20210212215736740.png]: /images/20221024/4dd72c40a4124b658196aedc8a591158.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 9]: /images/20221024/2e78fcf3841c43859926714a6f09cf1e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 10]: /images/20221024/8eb51d3f8d9b440399bcd42fb4af90dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 11]: /images/20221024/e049d7b605914d2d87c53d51c39aac9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 12]: /images/20221024/adb52e3cdda24230b6d77a0eb54fcc45.png