ETL异构数据源Datax_图形化数据同步

ETL异构数据源Datax_图形化数据同步_11

Myth丶恋晨 2022-10-09 04:49 288阅读 0赞

数据同步全量增量知识SQL和执行频次不一样，其他的都一样

文章目录

- - - - 一、Oracle同步Mysql(全量)
      - 添加项目
        
        添加数据源
        
        添加任务
        
        构建json
        
        任务执行
        
        查看日志
        
        同步数量对比
      - 二、Mysql同步Oracle(全量)
      - 2.1. 添加构建reader
        2.2. 添加构建writer
        2.3. 配置同步映射字段
        2.4. 构建json
        2.4. 选择任务模板
        2.5. 完成任务构建
        2.6. 数据清理
        2.7. 任务名称变更
        2.8. 任务执行一次
        2.9. 确定任务执行
        2.10. 查看执行日志
        2.11. 实时刷新日志
        2.12. 数据验证

一、Oracle同步Mysql(全量)

1. 添加项目

在这里插入图片描述

test-project

在这里插入图片描述

2. 添加数据源

在这里插入图片描述

3. 添加任务

在这里插入图片描述

4. 构建json

{ 
    "job": { 
        "setting": { 
            "speed": { 
                "channel": 3
            },
            "errorLimit": { 
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            { 
                "reader": { 
                    "name": "oraclereader",
                    "parameter": { 
                        "column": [
                            "IDNO",
                            "COL1",
                            "COL2",
                            "COL3",
                            "DT",
                            "COL5",
                            "COL6",
                            "COL7",
                            "COL8",
                            "COL9",
                            "COL10"
                        ],
                        "splitPk": "IDNO",
                        "connection": [
                            { 
                                "jdbcUrl": [
                                    "jdbc:oracle:thin:@192.xxx.xx.xxx:1521:orcl"
                                ],
                                "table": [
                                    "TEST.OTBS1"
                                ]
                            }
                        ],
                        "username": "username",
                        "password": "password"
                    }
                },
                "writer": { 
                    "name": "mysqlwriter",
                    "parameter": { 
                        "column": [
                            "IDNO",
                            "COL1",
                            "COL2",
                            "COL3",
                            "DT",
                            "COL5",
                            "COL6",
                            "COL7",
                            "COL8",
                            "COL9",
                            "COL10"
                        ],
                        "connection": [
                            { 
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?autoReconnect=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=CONVERT_TO_NULL&useSSL=false&serverTimezone=CTT&nullCatalogMeansCurrent=true",
                                "table": [
                                    "otbs1"
                                ]
                            }
                        ],
                        "username": "root",
                        "password": "123456"
                    }
                }
            }
        ]
    }
}