Kettle Linux部署

忘是亡心i 2022-10-29 11:23 845阅读 0赞

目录

  • 一.Linux安装Kettle
  • 二.Pan——转换执行引擎
  • 三.Kitchen——作业执行引擎

一.Linux安装Kettle

1、将kettle上传到Linux服务器,并解压缩
2、在命令行执行

  1. ./pan.sh -version
  2. ./kitchen.sh -version

3、如果能够看到以下输出,表示kettle可以正确运行

  1. Pan - Kettle version 8.2.0.0-342, build 8.2.0.0-342, build date :
  2. Pan - Start of run.
  3. ERROR: No repository provided, can't load transformation.
  4. Kitchen - Kettle version 8.2.0.0-342, build 8.2.0.0-342, build date
  5. Kitchen - Start of run.
  6. ERROR: Kitchen can't continue because the job couldn't be loaded.

4、配置环境变量

  1. # KETTLE
  2. export KETTLE=/export/servers/data-integration
  3. export PATH=${ KETTLE}:$PATH

二.Pan——转换执行引擎

pan.sh可以用来在服务器中执行一个转换
pan.sh的命令行参数:

  1. -version:显示版本信息
  2. -file: 指定要运行的转换文件(XML文件)
  3. -level: 设置日志级别(Basic,Detailed,Debug,Rowlevel,Error,Nothing)
  4. -log: 指定日志文件
  5. -param:key=value (该参数可以指定多个)覆盖之前指定的默认的命名参数

需求:

  • 在Linux中,将 /export/data/user.json 数据抽取到/export/data/user.xls 表格中
  • 实现步骤:
    1、在 windows 中开发转换,将 json数据抽取装载到 user.xls文件中
    在这里插入图片描述
    不要设置绝对路径,为了方便以后修改数据不用重新再整一遍
    在这里插入图片描述
    在这里插入图片描述
    2、抽取路径参数,通过命令行指定 json数据文件路径,指定 user.xls 文件路径
    在这里插入图片描述
    3、将数据文件上传到 /export/data 目录
    4、上传转换文件(ctrl+s保存的文件)、json数据文件到Linux服务器
    5、使用 pan.sh 执行转换
    执行

    pan.sh -file pansh转换任务.ktr

在这里插入图片描述

三.Kitchen——作业执行引擎

在Linux中,可以使用 kitchen.sh 来执行作业
需求:

  • 执行JSON数据抽取到Excel中
    实现步骤:
    1、在windows中开发作业
    在这里插入图片描述
    2、配置转换组件
    在这里插入图片描述
    3.修改之前文件的命名参数,不指定路径(默认值)
    在这里插入图片描述
    4.修改作业的命名的参数 要与转换的命名参数一致
    在这里插入图片描述
    5.执行命令

    kitchen.sh -file jobtest.kjb -level Basic input=/export/data/user.json -param:output=/export/data/

在这里插入图片描述

发表评论

表情:
评论列表 (有 0 条评论,845人围观)

还没有评论,来说两句吧...

相关阅读