Kettle 实现动态表查询

缺乏、安全感 2024-03-17 13:32 69阅读 0赞

#### 文章目录 ####

*  前言
 *  [kettle取昨天时间&设置任意时间变量][kettle]
 *  动态表名查询数据 :
 *  一、获取表名
 *   *  1、新建一个转换getTableName，拖入\`获取系统信息，字段选择，设置变量\`
     *  2、打开 获取系统信息 编辑界面，填写名称，点击类型选择要获取的信息类型
     *  3、打开\`字段选择\`，选择\`元数据\`，设置字段属性
     *  4、打开设置变量，填写相关信息，也可以点击获取字段自动填写字段信息
 *  二、根据表名更新数据
 *   *  1、打开表输入，选择数据库，填写sql语句，使用之前设置的$\{TODAY\}变量，替换SQL语句里的变量勾选上，否则变量无法生效
     *  2、打开插入/更新，指定目标表，填写查询关键字，填写更新字段
 *  三、作业执行转换
 *  总结

## 前言 ##

> **需求：  
> 数据库存在一个信息表，每天都在记录信息，数据量大，每天创建一张表存储。  
> 表名每天都在变，需要从当天的表拿到信息同步到指定数据库。**

> 预定格式：  
> tableName\_yyyyMMdd（ abcd\_20230701 ）

**本次测试环境：**

<table> 
 <thead> 
  <tr> 
   <th align="left"></th> 
   <th align="left"></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">系统</td> 
   <td align="left">Windows10</td> 
  </tr> 
  <tr> 
   <td align="left">软件版本</td> 
   <td align="left">kettle 7.1.0.0-12</td> 
  </tr> 
  <tr> 
   <td align="left">MySQL驱动</td> 
   <td align="left">mysql-connector-java-8.0.19.jar</td> 
  </tr> 
 </tbody> 
</table>

--------------------

## [kettle取昨天时间&设置任意时间变量][kettle] ##

## 动态表名查询数据 : ##

*  第一个转换设置表名为变量
 *  第二关转换拿到变量带入sql查询出数据  
    ![在这里插入图片描述][0d7acfd2c5b34016923d8d13436a921f.png]

## 一、获取表名 ##

![在这里插入图片描述][f41d9faa9f0b4fda8f323d8eb3aacd4c.png]

### 1、新建一个转换getTableName，拖入`获取系统信息，字段选择，设置变量` ###

![在这里插入图片描述][19939bbcf06a4b008a6ec367a7e3d78f.png]

### 2、打开 获取系统信息 编辑界面，填写名称，点击类型选择要获取的信息类型 ###

![在这里插入图片描述][e1fb98a7c4264d04999fe8330f11d808.png]

### 3、打开`字段选择`，选择`元数据`，设置字段属性 ###

![在这里插入图片描述][79a4dc99ceac47a082808e638994bd79.png]

### 4、打开设置变量，填写相关信息，也可以点击获取字段自动填写字段信息 ###

![在这里插入图片描述][2eb86789b7734a81b32c9ab97c29133d.png]  
**`表名转换`到此结束。**

## 二、根据表名更新数据 ##

![在这里插入图片描述][54edeced6b324acc83ffcb186db4388a.png]  
实现步骤如下：

*  新建一个转换autoQuery，拖入`表输入`，`插入/更新`
 *  表操作需要连接数据库，本次Kettle使用8.x 版本的 MySQL驱动

![在这里插入图片描述][0bef417573a94721b6fefafc95a52416.png]

### 1、打开表输入，选择数据库，填写sql语句，使用之前设置的$\{TODAY\}变量，替换SQL语句里的变量勾选上，否则变量无法生效 ###

![在这里插入图片描述][b01e1013c7f341df8d9e695ef5b67351.png]

### 2、打开插入/更新，指定目标表，填写查询关键字，填写更新字段 ###

![在这里插入图片描述][a99cf023b4d640abb7444ddc29173a3f.png]

> **根据表名更新数据转换到此结束。**

## 三、作业执行转换 ##

![在这里插入图片描述][4c691a045db6456ba67e9bf1938d80f3.png]

*  **新建一个作业autoTable，拖入START，先调用获取表名转换，然后调用根据表名更新数据转换，最后拖入成功**
 *  **作业保存，运行。**

--------------------

## 总结 ##

> 如果此篇文章有帮助到您, 希望打大佬们能`关注`、`点赞`、`收藏`、`评论`支持一波，非常感谢大家！  
> 如果有不对的地方请指正!!!

[参考1][1]

[kettle]: https://blog.csdn.net/weixin_42326851/article/details/131534777?spm=1001.2014.3001.5501
[0d7acfd2c5b34016923d8d13436a921f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/8e1f304949854f229e569a774eed7c36.png
[f41d9faa9f0b4fda8f323d8eb3aacd4c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4d79807200b24225b6cd1290dace9927.png
[19939bbcf06a4b008a6ec367a7e3d78f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/339172bba8b944349af2752bf28cc7e4.png
[e1fb98a7c4264d04999fe8330f11d808.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/fbc4b42bdc80441db736e2d1131e66fc.png
[79a4dc99ceac47a082808e638994bd79.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/8e8b5a93152f4c31b5d79a6e6dde9d03.png
[2eb86789b7734a81b32c9ab97c29133d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/92e9c287bf334899bff1800edf32bb1c.png
[54edeced6b324acc83ffcb186db4388a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/8b33f432265c4dcaaab5c7b7f52d76aa.png
[0bef417573a94721b6fefafc95a52416.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/96ea07e08afa45b2a8478cc357e1956a.png
[b01e1013c7f341df8d9e695ef5b67351.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/8793614704784f3f86757382c778a102.png
[a99cf023b4d640abb7444ddc29173a3f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a7fb10ecbce345fcb4660302fbf9aea0.png
[4c691a045db6456ba67e9bf1938d80f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/462d263f7da2435d81ffb0b3735b01e8.png
[1]: https://blog.csdn.net/u013023406/article/details/107247920