kettle常用其它组件

野性酷女 2022-10-29 10:28 495阅读 0赞

### 目录 ###

*  一.Kettle转换组件
 *   *  值映射
     *  增加序列
 *  二.Kettle流程控件
 *   *  switch case
 *  三.Kettle连接控件
 *   *  记录集连接

# 一.Kettle转换组件 #

转换是ETL的T，T就是Transform清洗、转换  
ETL三个部分中，T花费时间最长,是“一般情况下这部分工作量是整个ETL的2/3  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

## 值映射 ##

值映射就是把字段的一个值映射成其他的值  
在数据质量规范上使用非常多，比如很多系统对应性别gender字段的定义不同

*  系统1：1 男、2女
 *  系统2：f 男、m 女
 *  数据仓库统一为：male 男、female女  
    **需求：**  
    从user.json 中读取数据，并把gender列
    
     *  0 -> 男
     *  1 -> 女
     *  2 -> 保密  
        写入到Excel文件  
        实现步骤：  
        1、拖入一个 JSON输入组件、一个值映射转换组件、一个Excel输出组件，连接三个组件  
        2、配置JSON输入组件  
        3、配置值映射转换组件  
        4、配置Excel输出组件  
        具体实现：  
        1、拖入一个 JSON输入组件、一个值映射转换组件、一个Excel输出组件，连接三个组件  
        ![在这里插入图片描述][20210212235046380.png]  
        2、配置JSON输入组件  
        3、配置值映射转换组件  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]  
        4、配置Excel输出组件  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]

## 增加序列 ##

增加序列就是给数据流增加一个序列字段  
![在这里插入图片描述][20210212235438500.png]  
需求：  
从 user.json 读取数据，并添加序列，把数据保存到Excel  
实现步骤：  
1、拖入JSON输入组件、增加序列组件、Excel输出组件，并连接三个组件  
![在这里插入图片描述][20210212235603734.png]  
2、配置JSON Input组件  
3、配置增加序列组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]  
4、配置Excel输出组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]  
字段选择  
字段选择是从数据流中选择字段、改变名称、修改数据类型  
**需求：**

*  从 user.json 中读取数据
 *  移除birthday和register\_date
 *  把phone列名改为telephone，id列名改为key，gender列名改为sex
 *  输出到Excel文件中  
    实现步骤：  
    1、拖入 JSON输入 组件、字段选择组件、Excel输出组件  
    ![在这里插入图片描述][20210212235918734.png]  
    2、配置输入、字段选择、输出组件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]  
    ![在这里插入图片描述][20210213000219230.png]

# 二.Kettle流程控件 #

流程主要用来控制数据流程和数据流向

## switch case ##

switch/case组件让数据流从一路到多路。  
需求：  
从 user.json 输入读取数据，按sex进行数据分类，把女性、男性、保密分别保存不同的Excel文件里面。

*  0表示男性
 *  1表示女性
 *  2表示保密

实现步骤：  
1、拖入 JSON输入组件，switch/case组件，三个Excel输出组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]  
2、配置 switch/case 组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]  
3.执行  
![在这里插入图片描述][20210213124727589.png]  
过滤记录  
过滤记录让数据流从一路到两路。  
需求：

*  从 user.json 读取数据，分离出 年龄 大于等于25，小于25的数据，分别保存到不同的Excel文件  
    实现步骤：  
    1、拖入 JSON输入组件、过滤记录组件、两个Excel组件，并连接各个组件  
    在这里插入图片描述  
    2、配置过滤记录组件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]  
    3.执行结果  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 9]

# 三.Kettle连接控件 #

笛卡尔积  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 10]  
需求：

*  从Excel读取两位和三位数，完成两位数和三位数的组合（笛卡尔积）,把结果保存在Excel  
    实现步骤：  
    1、设计转换结构  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 11]  
    2、配置记录关联（笛卡尔积组件）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 12]  
    3.执行结果  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 13]

## 记录集连接 ##

记录集连接类似数据库的左连接、右连接、内连接、外连接。  
在进行记录集连接之前，应该要对记录集进行**排序**。  
**需求：**

*  从Excel中读取employees和departments数据，进行内关联，左关联，右关联，全关联，把数据保存到Excel  
    实现步骤：  
    1、设计以下组件图  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 14]  
    2、配置记录集连接组件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 15]  
    3.执行结果  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 16]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221024/775ccaa8d396478f937f6c7b42d6d4ba.png
[20210212235046380.png]: /images/20221024/26f649267b704556af909b5fe61a4e69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: /images/20221024/a40f0cc60b4745cf80d92afe31c3981f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]: /images/20221024/ef8e6be2826a40fc8bc1d65c6e73fe49.png
[20210212235438500.png]: /images/20221024/96777037e94444089569f8dfb694dc1d.png
[20210212235603734.png]: /images/20221024/129fc15ce88947dfa87d5493e0d096df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]: /images/20221024/0891b97edd354c45bc72af01556301f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]: /images/20221024/851c38249181483f8b3388b4e6552693.png
[20210212235918734.png]: /images/20221024/53f5a0315c6646d585ffd475f128ef78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]: /images/20221024/e2d5867051dc4ffcb412f4fb91f5e017.png
[20210213000219230.png]: /images/20221024/f00a57752d3e40fa859afc294e23f4b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]: /images/20221024/a22e00b029054f078904630f13071b7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]: /images/20221024/4b9de5be2b144c1ba4f0d5596fbcd871.png
[20210213124727589.png]: /images/20221024/536a5fad3ad34e3c9b4b82642db90f89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]: /images/20221024/0245ac05255a4dc995f3acb144f36d57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 9]: /images/20221024/8282e7dde95e45d28b219ca169e2f458.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 10]: /images/20221024/d77709c5a85d402191a999d447c09e26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 11]: /images/20221024/31f28d41de4f48de9cd86589c9145e72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 12]: /images/20221024/80c0c90557ee4971bcfdbcede4a1e672.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 13]: /images/20221024/0b4b8de470dc47f1aa974969a3a1ee2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 14]: /images/20221024/3d53b2e85864430ca104a020274928de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 15]: /images/20221024/886dfac185ce4bc88ca646623ededcab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 16]: /images/20221024/b7567b1454c4433f8e1cde2857ef2c9e.png