datax数据导出

系统管理员 2023-06-08 06:09 5阅读 0赞

场景：mysql单表transaction数据量达到20亿，占服务器磁盘太多需要导出，但是普通方法导出太慢，这里借助datax工具，对transaction表按日期进行分表后将数据导入对应日期的表内。

1、需要安装的环境：

（1）jdk 1.8

（2）maven 3.3.9

（3）python 2.6 +

验证环境：

\# java -version

![20191016180855297.png][]

\# mvn -v

![20191016180931755.png][]

\# python

![20191016180950688.png][]

2、下载datax.tar.gz，要点datax下载地址下载tar.gz包，下载地址：[https://github.com/alibaba/DataX][https_github.com_alibaba_DataX]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RpYW5zaHVoYW81MjE_size_16_color_FFFFFF_t_70][]

3、将datax.tar.gz上传到服务器安装目录，我这里是/home/data/datax，然后解压：

\# tar -zxvf datax.tar.gz

tar -zxvf datax.tar.gz

目录如下：

![20191016180137502.png][]

bin目录是启动目录，job目录存放执行的json脚本文件，log目录问日志目录。

4、在目标服务器创建备份库：exchange\_copy

创建日期表，比如：transaction\_201910，transaction\_201909，transaction\_201908......

5、编写json文件：transaction\_201910.json，比如我的如下：

\{  
    "job": \{  
        "setting": \{  
            "speed": \{  
                "channel": 5  
            \},  
            "errorLimit": \{  
                "record": 100000000,  
                "percentage": 0.02  
            \}  
        \},  
        "content": \[\{  
            "reader": \{  
                "name": "mysqlreader",  
                "parameter": \{  
                    "username": "root",  
                    "password": "123456",  
                    "column": \[  
                        "id",  
                        "from\_uid",  
                        "from\_type",  
                        "from\_balance",  
                        "to\_uid",  
                        "to\_type",  
                        "to\_balance",  
                        "amount",  
                        "meta",  
                        "scene",  
                        "ref\_type",  
                        "ref\_id",  
                        "op\_uid",  
                        "op\_ip",  
                        "ctime",  
                        "mtime",  
                        "fingerprint"  
                    \],  
                    "where": "ctime >= '2019-10-01 00:00:00' and ctime <= '2019-10-31 23:59:59'",  
                    "connection": \[\{  
                        "table": \[  
                            "transaction"  
                        \],  
                        "jdbcUrl": \[  
                            "jdbc:mysql://192.168.0.118:3306/exchange"  
                        \]  
                    \}\]  
                \}  
            \},  
            "writer": \{  
                "name": "mysqlwriter",  
                "parameter": \{  
                    "writeMode": "insert",  
                    "username": "root",  
                    "password": "root",  
                    "column": \[  
                        "id",  
                        "from\_uid",  
                        "from\_type",  
                        "from\_balance",  
                        "to\_uid",  
                        "to\_type",  
                        "to\_balance",  
                        "amount",  
                        "meta",  
                        "scene",  
                        "ref\_type",  
                        "ref\_id",  
                        "op\_uid",  
                        "op\_ip",  
                        "ctime",  
                        "mtime",  
                        "fingerprint"  
                    \],  
                    "preSql": \[  
                        "truncate table transaction\_201910"  
                    \],  
                    "connection": \[\{  
                        "jdbcUrl": "jdbc:mysql://localhost:3306/exchange\_transaction\_copy",  
                        "table": \[  
                            "transaction\_201910"  
                        \]  
                    \}\]  
                \}  
            \}  
        \}\]  
    \}  
\}  
   
 注意：

where：按日期查询；

setting.speed：流量控制；

errorLimit.record：配置脏数据条数，默认0条，我这里忽略脏数据所以配大点。

preSql：执行insert前先清空目标表

5、将transaction\_201910文件上传到job目录，我这里目录为：/home/data/datax/datax/job

6、进入datax的bin目录，启动：

\# cd /home/data/datax/datax/bin

\# python datax.py ../job/transaction\_201910.json

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RpYW5zaHVoYW81MjE_size_16_color_FFFFFF_t_70 1][]

如图表示数据迁移成功。

[20191016180855297.png]: /images/20230531/c93d04927843446cb6b136841682346d.png
[20191016180931755.png]: /images/20230531/d64098f0dc36434c8a326745cf3357e2.png
[20191016180950688.png]: /images/20230531/b601b0fd649f419f9a37887b1d1d199b.png
[https_github.com_alibaba_DataX]: https://github.com/alibaba/DataX
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RpYW5zaHVoYW81MjE_size_16_color_FFFFFF_t_70]: /images/20230531/d0477fa8b0ec4f4a9c5fb1ffd76996b3.png
[20191016180137502.png]: /images/20230531/8991f2dc3192487597c6c89fe8439025.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RpYW5zaHVoYW81MjE_size_16_color_FFFFFF_t_70 1]: /images/20230531/ab5f5baa451049eb955f3d6e46133754.png