DataX | 在Liunx上安装和使用

不念不忘少年蓝@ 2022-12-18 04:58 253阅读 0赞

### 一、DataX3.0 概述和核心优势 ###

参考官网，这里就不多做介绍：[DataX3.0介绍][DataX3.0].

DataX快速开始说明：[快速开始文档][Link 1].

--------------------

### 二、Liunx 上安装DataX ###

##### 1.查看当前`linux`是什么系统版本： #####

*  查看系统的名称，命令：`uname`
 *  查看具体的系统版本，命令：`cat /etc/redhat-release`

--------------------

##### 2.查看是否具备`jdk`和`python`环境： #####

*  查看`jdk`版本，命令：`java -version`
 *  查看`python`的版本，命令（大写V）：`python -V`

注意：

*  JDK(1.6以上，1.8即可)
 *  Python(一般2.7都可以)一定要为python2，因为后面执行datax.py的时候，里面的python的print会执行不了，导致运行不成功，会提示你print语法要加括号，python2中加不加都行 python3中必须要加，否则报语法错

--------------------

##### 3.如果上一步的环境不存在则参考下面的博客进行环境安装： #####

*  安装java环境，参考博客（不用按照步骤去卸载，直接看安装步骤即可）：[https://blog.csdn.net/love3765/article/details/88783126][https_blog.csdn.net_love3765_article_details_88783126].
 *  安装python环境，参考博客（安装步骤全部执行即可）：[https://www.cnblogs.com/Jomini/p/10507077.html][https_www.cnblogs.com_Jomini_p_10507077.html].

--------------------

##### 4.下载DataX： #####

*  下载DataX安装包百度云链接：[https://pan.baidu.com/s/13FeDSkO52dUv\_bJqjXoe2w][https_pan.baidu.com_s_13FeDSkO52dUv_bJqjXoe2w].  
    提取码：alac
 *  下载DataX安装包（如果上一步目录不存在，找到网址下的Quick Start标题即有下载地址）：[https://github.com/alibaba/DataX][https_github.com_alibaba_DataX].

--------------------

##### 5.解压DataX #####

下载后使用文件传输工具传输到linux上的opt目录下  
解压命令：  
`cd /opt`  
`tar -zxvf datax.tar.gz -C /opt/`

--------------------

##### 6.DataX自检 #####

解压成功后，进入bin目录，开始自检，命令：  
`cd datax/bin`  
`python datax.py /opt/datax/job/job.json`

查看日志，完成自检！

--------------------

### 三、使用DataX ###

##### 1.新建两个`mysql`库：`datax、datax2`，分别使用运行以下建表sql： #####

CREATE TABLE `datax_test` (
      `id` int(10) NOT NULL COMMENT '主键ID',
      `name` varchar(255) DEFAULT NULL COMMENT '名称',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

运行成功后在`datax2`中新增几条测试数据，`datax`中不新增。

--------------------

##### 2.建立新的`job`作业`json`文件，如下（复制即可用）： #####

job\_mysql2mysql.json：

{ 
        "job": { 
    		"setting": { 
                "speed": { 
                    "channel": 1
                },
    			"errorLimit": { 
                    "record": 0,
                    "percentage": 0.02
                }
            },
            "content": [
                { 
                    "reader": { 
                        "name": "mysqlreader", 
                        "parameter": { 
                            "column": [
    							"`id`",
                                "`name`"
    						], 
                            "connection": [
                                { 
                                    "jdbcUrl": ["jdbc:mysql://localhost:3306/datax2"], 
                                    "table": ["datax_test"]
                                }
                            ], 
    						"username": "root",
                            "password": "******"
                        }
                    }, 
                    "writer": { 
                        "name": "mysqlwriter", 
                        "parameter": { 
    						"writeMode": "insert",
                            "username": "root",
                            "password": "******",
                            "column": [
                                "`id`",
    							"`name`"
                            ],
                            "session": [
                            	"set session sql_mode='ANSI'"
                            ],
                            "preSql": [
                                "delete from datax_test"
                            ], 
                            "connection": [
                                { 
                                    "jdbcUrl": "jdbc:mysql://localhost:3306/datax", 
                                    "table": ["datax_test"]
                                }
                            ]
                        }
                    }
                }
            ]
        }
    }

>  *  `“writeMode”: “insert”`：表示数据是新增，可改为update，但是表中要有唯一主键
>  *  `preSql`：预先执行的sql，在其他操作之前执行

> 以上的json是新增时使用，有个preSql（预执行sql），看情况使用

##### 3.将`job_mysql2mysql.json`文件放入`/opt/datax/`目录下，执行以下命令运行，即可将读库中的表数据写入写库的表中： #####

python datax.py /opt/datax/job/job_mysql2mysql.json

--------------------

#### 注意点： ####

大家可以看到JSON文件中的`column`中写了详细的参数，而不用`*`号，以及字段用`` ` ``符号包起来。

先说第一点，详细的字段方便在以后的定时增量同步起到很大的避免错误的作用，如果读库和写库的表结构一样，在读库（reader）中的表增加了一个字段，而写库（writer）并没有这个字段，执行脚本时会报错，所有不用\*号，并且新增和修改字段都要双方同步。

第二点，为什么用`` ` ``符号将字段包起来，博主已踩坑，大家不要跳坑了。因为日常开发中一个数据库是很多开发人员维护的，难免会出现MySQL关键字为字段名的情况，DataX执行时发现某个字段是MySQL关键字则会直接报错，所以每个字段最好包起来。

--------------------

### 相关文章 ###

*  [DataX | MySQL多表全量同步和多表定时增量同步][DataX _ MySQL].
 *  [DataX踩坑1 | 连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port][DataX_1 _ _. _ _IP_Port].
 *  [DataX踩坑2 | 定时任务crontab不执行或报错：/bin/sh: java: command not found][DataX_2 _ _crontab_bin_sh_ java_ command not found].
 *  [Shell 脚本参数传递时有 \\r 换行符问题][Shell _ _r].

--------------------

[DataX3.0]: https://github.com/alibaba/DataX/blob/master/introduction.md
[Link 1]: https://github.com/alibaba/DataX/blob/master/userGuid.md
[https_blog.csdn.net_love3765_article_details_88783126]: https://blog.csdn.net/love3765/article/details/88783126
[https_www.cnblogs.com_Jomini_p_10507077.html]: https://www.cnblogs.com/Jomini/p/10507077.html
[https_pan.baidu.com_s_13FeDSkO52dUv_bJqjXoe2w]: https://pan.baidu.com/s/13FeDSkO52dUv_bJqjXoe2w
[https_github.com_alibaba_DataX]: https://github.com/alibaba/DataX
[DataX _ MySQL]: https://blog.csdn.net/qq_25112523/article/details/109276879
[DataX_1 _ _. _ _IP_Port]: https://blog.csdn.net/qq_25112523/article/details/109276731
[DataX_2 _ _crontab_bin_sh_ java_ command not found]: https://blog.csdn.net/qq_25112523/article/details/109333611
[Shell _ _r]: https://blog.csdn.net/qq_25112523/article/details/109279059