kettle在linux上的运行方法

迷南。 2024-04-01 17:40 74阅读 0赞

#### 文章目录 ####

*  一、kettle安装部署
 *  二、配置kettle任务
 *   *  1、本机打开kettle :
     *  2.配置转换任务 :
     *  3.配置作业 :
     *  4.本地测试 :
     *  5.linux中执行作业(kjb)的命令
     *   *  linux中执行转换(ktr)的命令
     *  6.定时任务编辑shell脚本编辑
     *  7.设置定时
 *  总结

--------------------

## 一、kettle安装部署 ##

[**Kettle安装部署**][Kettle]

## 二、配置kettle任务 ##

### 1、本机打开kettle : ###

**建立数据库连接, 填写需要连接的数据库地址、端口、账号还有密码，点击测试连接，成功如下图：**  
![链接数据库成功][80f991b82a744c128985ec898026e29d.png]

### 2.配置转换任务 : ###

**在表输入和表输出中配置基本信息：**  
![转换][093d229664d04eb9885dd65b2d7a6a3c.png]

### 3.配置作业 : ###

**在转换过程中添加刚才的任务，transformation中如果是绝对路径，替换成如下地址>（$\{Internal.Entry.Current.Directory\}，转换和作业放在同一目录下）**  
![创建作业][59a3a6293a4944408ec6a90247503cc2.png]

### 4.本地测试 : ###

> **抽取数据是否成功，成功后将保存的转换和作业放在linux服务器上**

### 5.linux中执行作业(kjb)的命令 ###

kitchen.sh -file=/data/kettle/data-integration/test.kjb

#### linux中执行转换(ktr)的命令 ####

/pan.sh -file=/usr/local/kettle/bjyd/t_sdrs_xsjbxx.ktr -norep

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-file</td> 
   <td>job或trans文件路径</td> 
  </tr> 
  <tr> 
   <td>-norep</td> 
   <td>标明不是资源库里的文件</td> 
  </tr> 
  <tr> 
   <td>-param</td> 
   <td>参数设置</td> 
  </tr> 
  <tr> 
   <td>-logfile</td> 
   <td>log输出文件名</td> 
  </tr> 
  <tr> 
   <td>-level</td> 
   <td>log级别 (Basic, Detailed, Debug, Rowlevel, Error, Nothing)</td> 
  </tr> 
 </tbody> 
</table>

### 6.定时任务编辑shell脚本编辑 ###

#!/bin/sh
    JAVA_HOME=/data/jdk1.8.0_281
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
    #createDate=`date +"%Y%m%d%H%M%S"`
    createDate=`date +"%Y%m%d"`
    cd /data/data-integration;./kitchen.sh -file=/data/kettle-sh-day/wlhy/kjb/prod/wlhy-job-driver.kjb >> /data/kettle-sh-day/wlhy/logs/$createDate-wlhy-job-driver.log &

### 7.设置定时 ###

**crontab -e  
每天3点执行 00 03 \* \* \* /data/kettle/data-integration/testfile.sh**

--------------------

## 总结 ##

> 如果此篇文章有帮助到您, 希望打大佬们能`关注`、`点赞`、`收藏`、`评论`支持一波，非常感谢大家！  
> 如果有不对的地方请指正!!!

[参考1][1]  
[参考2][2]

[Kettle]: https://blog.csdn.net/weixin_42326851/article/details/127751011?spm=1001.2014.3001.5501
[80f991b82a744c128985ec898026e29d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/699d1573ca4a4cdf99a946ca8fc4e422.png
[093d229664d04eb9885dd65b2d7a6a3c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ea5daf80a2954f34a8c807c517bf15e7.png
[59a3a6293a4944408ec6a90247503cc2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/706f6140b8ba47ff98f9000068f79580.png
[1]: https://www.jianshu.com/p/3264af457f42
[2]: http://t.zoukankan.com/yuezc-p-12743616.html