datax组件介绍

一时失言乱红尘 2023-06-08 06:15 55阅读 0赞

datax是阿里巴巴的一款离线数据同步工具,可以实现不同数据源之间的数据同步功能

特点:1、性能非常好,每秒钟可以达到1万条记录
2、适合于数据直连方式的数据同步

对比kettle: 配置繁琐,没有图形化界面
无法对数据进行复杂的转化操作

在这里插入图片描述

核心组件
*
Reader:数据采集模块,负责从源采集数据
*
Writer:数据写入模块,负责写入目标库;
*
Framework:用于连接reader和writer,作为两者的数据传输通道,并处理缓冲,流控,并发,数据转换等核心技术问题

发表评论

表情:
评论列表 (有 0 条评论,55人围观)

还没有评论,来说两句吧...

相关阅读

    相关 datax介绍

    datax是阿里巴巴的一款离线数据同步工具,可以实现不同数据源之间的数据同步功能 特点:1、性能非常好,每秒钟可以达到1万条记录 2、适合于数据直连方式的数据同步 对比

    相关 Storm介绍

    (1)Topologies 拓扑 解释: 拓扑类似一个集装箱,所有的货物都会存储在集装箱里面最后被托运走,storm里面所有的代码和文件最终会

    相关 vue介绍

    简单的Vue组件构成 开始使用vue.js编写前端代码的时候,我们的了解一下.vue文件的基本构成,不能说是.vue文件,其实是一个组件,下面我们跟着代码去了解一下吧。