datax使用docker容器执行任务

谁借莪１个温暖的怀抱￠ 2022-03-18 13:54 795阅读 0赞

# datax使用docker容器执行任务 #

## 一、datax镜像 ##

1.  从Registry中拉取镜像(如果你不想创建镜像，可以使用现成的)  
    如果你认为现成镜像不合适可以参考下面文档自行创建  
    [datax容器镜像制作][datax]

从公网拉取镜像(使用阿里云镜像仓库，镜像大小800MB)
    docker pull registry.cn-qingdao.aliyuncs.com/liimage/datax

如果在经典内网 使用经典内网的链接拉取

1.  设置镜像名称（从阿里云获取的镜像，名称会特别长，可以修改为短点的）

docker images
    docker tag [ImageId] datax:latest

1.  datax容器测试

docker run -it --rm datax python /opt/local/datax/bin/datax.py /opt/local/datax/job/job.json

#### 二、执行语句 ####

docker run -it --rm -v "$PWD":${jsonPath} -w /opt/local/datax/bin datax python \
    datax.py -p \
    "-Drdbuser=${rdbuser} -Drdbpwd=${rdbpwd} -Drdburl=${rdburl} -Dwdbuser=${wdbuser} -Dwdbpwd=${wdbpwd} -Dwdburl=${wdburl} -DstartDate=${startDate} -DendDate=${endDate} -Dts='${ts}' -DcheckDate=${checkDate} -DdateLength=${dateLength} -Dtable=${table}"  \
    ${jsonPath}/test.json

#### 三、参数说明 ####

##### docker命令 #####

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">-i</td> 
   <td>以交互模式运行容器</td> 
  </tr> 
  <tr> 
   <td align="left">-t</td> 
   <td>为容器重新分配一个伪输入终端</td> 
  </tr> 
  <tr> 
   <td align="left">–rm</td> 
   <td>运行完成后自动删除容器</td> 
  </tr> 
  <tr> 
   <td align="left">-v</td> 
   <td>目录挂载 宿主机目录:容器目录</td> 
  </tr> 
  <tr> 
   <td align="left">-w</td> 
   <td>指定工作目录，可直接运行该目录下程序</td> 
  </tr> 
  <tr> 
   <td align="left">datax</td> 
   <td>使用datax镜像</td> 
  </tr> 
 </tbody> 
</table>

##### 其他命令 #####

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">$PWD</td> 
   <td>指当前执行目录</td> 
  </tr> 
  <tr> 
   <td align="left">${…}</td> 
   <td>shell脚本内部参数</td> 
  </tr> 
  <tr> 
   <td align="left">-p</td> 
   <td>datax参数用于指定输入参数列表</td> 
  </tr> 
  <tr> 
   <td align="left">-Drdbuser=${rdbuser)</td> 
   <td>具体参数，json使用名称：${rdbuser}</td> 
  </tr> 
  <tr> 
   <td align="left">…/*.json</td> 
   <td>datax执行的json文件</td> 
  </tr> 
 </tbody> 
</table>

### 四、使用说明 ###

1.  将shell脚本和json放在宿主机同一目录中，通过crontab定时执行shell脚本，在脚本中负责进行参数的处理并执行容器命令。
2.  使用定时任务部署时，需要去除docker 中的"-t"参数,否则会报错

[datax]: https://blog.csdn.net/u013494765/article/details/87812326