ETL常用的三种工具介绍及对比Datastage、Informatica、Kettle

淩亂°似流年 2021-10-20 00:30 346阅读 0赞

ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及ETL常用的三种工具（Datastage，Informatica，Kettle）！

> ### **1.ETL是什么？** ###

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。（数据仓库结构）通俗的说法就是从数据源抽取数据出来，进行清洗加工转换，然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节，其设计的好坏影响生成数据的质量，直接关系到BI项目的成败。

> ### **2.为什么要用ETL工具？** ###

▶ 当数据来自不同的物理主机，这时候如使用SQL语句去处理的话，就显得比较吃力且开销也更大。

▶ 数据来源可以是各种不同的数据库或者文件，这时候需要先把他们整理成统一的格式后才可以进行数据的处理，这一过程用代码实现显然有些麻烦。

▶ 在数据库中我们当然可以使用存储过程去处理数据，但是处理海量数据的时候存储过程显然比较吃力，而且会占用较多数据库的资源，这可能会导致数据资源不足，进而影响数据库的性能。

上面所说的问题，我们用ETL工具就可以解决。它的优点有：

**● 支持多种异构数据源的连接。（部分）**

**● 图形化的界面操作十分方便。**

**● 处理海量数据速度快、流程更清晰等。**

> ### **3.ETL工具介绍** ###

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1LzNlNjFlODg1ODVhZDRjMjI5ZDc2ODVmYmY5MDA5ZTk4LmpwZWc][]

Informatica和Datastage占据国内市场的大部分的份额。

> ### **4.ETL工具差异** ###

**Kettle，Datastage，Informatica**三个ETL工具的特点和差异介绍：

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw][]

操作

都是属于比较简单易用，主要是开发人员对于工具的熟练程度。Informatica有四个开发管理组件，开发的时候我们需要打开其中三个进行开发，Informatica没有ctrl+z的功能，如果对job作了改变之后，想要撤销，返回到改变前是不可能的。相比Kettle跟Datastage在测试调试的时候不太方便。Datastage全部的操作在同一个界面中，不用切换界面，能够看到数据的来源，整个job的情况，在找bug的时候会比Informatica方便。Kettle介于两者之间。

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw][]

部署

Kettle只需要JVM环境，Informatica需要服务器和客户端安装，而Datastage的部署比较耗费时间，有一点难度。

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw][]

数据处理的速度

大数据量下Informatica 与Datastage的处理速度是比较快的，比较稳定。Kettle的处理速度相比之下稍慢。

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw][]

服务

Informatica与Datastage有很好的商业化的技术支持，而Kettle则没有。商业软件的售后服务上会比免费的开源软件好很多。

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw][]

风险

风险与成本成反比，也与技术能力成正比。

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw][]

扩展

Kettle的扩展性无疑是最好，因为是开源代码，可以自己开发拓展它的功能，而Informatica和Datastage由于是商业软件，基本上没有。

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw][]

Job的监控

三者都有监控和日志工具。在数据的监控上，个人觉得Datastage的实时监控做的更加好，可以直观看到数据抽取的情况，运行到哪一个控件上。这对于调优来说，我们可以更快的定位到处理速度太慢的控件并进行处理，而informatica也有相应的功能，但是并不直观，需要通过两个界面的对比才可以定位到处理速度缓慢的控件。有时候还需要通过一些方法去查找。

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw][]

网上的技术文档

Datastage < Informatica < kettle,相对来说，Datastage跟Informatica在遇到问题去网上找到解决方法的概率比较低，kettle则比较多。

> ### **5.项目经验分享** ###

多张表同步、重复的操作：在项目中，很多时候我们都需要同步生产库的表到数据仓库中。一百多张表同步、重复的操作，对开发人员来说是细心和耐心的考验。在这种情况下，开发人员最喜欢的工具无疑是kettle，多个表的同步都可以用同一个程序运行，不必每一张表的同步都建一个程序，而informatica虽然有提供工具去批量设计，但还是需要生成多个程序进行一一配置，而datastage在这方面就显得比较笨拙。

增量表：在做增量表的时候，每次运行后都需要把将最新的一条数据操作时间存到数据库中，下次运行我们就取大于这个时间的数据。Kettle有控件可以直接读取数据库中的这个时间置为变量；对于没有类似功能控件的informatica，我们的做法是先读取的数据库中的这个时间存到文件，然后主程序运行的时候指定这个文件为参数文件，也可以得到同样的效果。

![aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2FmNDRhNzIzMDU0NzRhNGU5MjM3M2YyZTI4YzBlY2VmLmpwZWc][]

有一句话说的好：**世上没有最好的，只有适合的！**每一款ETL工具都有它的优缺点，我们需要根据实际项目，权衡利弊选择适合的ETL工具，合适的就是最好的。当下越来越多公司及其客户更重视最新的数据（实时数据）展现，传统的ETL工具可能满足不了这样的需求，而实时流数据处理和云计算技术更符合。所以我们也需要与时俱进，学习大数据时代下的ETL工具。

[aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1LzNlNjFlODg1ODVhZDRjMjI5ZDc2ODVmYmY5MDA5ZTk4LmpwZWc]: /images/20211019/2fc47dc6cd354cddb72afcf125f83dfd.png
[aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2Q3ZGExYmY0NDZjYTQzNzRiNTg1OWU0MjFjM2Q0ZDI3LnBuZw]: /images/20211019/cacfc496df534c21a737c97a659e31d4.png
[aHR0cDovLzViMDk4OGU1OTUyMjUuY2RuLnNvaHVjcy5jb20vaW1hZ2VzLzIwMTgwODE1L2FmNDRhNzIzMDU0NzRhNGU5MjM3M2YyZTI4YzBlY2VmLmpwZWc]: /images/20211019/b97c943ff50344229a0a429d0b4ad3f7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，346人围观）

还没有评论，来说两句吧...

相关阅读

相关工具专家：介绍常用的Java开发工具及其使用场景

在Java开发过程中，我们通常会用到一些特定的工具。以下是一些主要的工具以及它们的使用场景： 1. **Eclipse/IntelliJ IDEA**： - **Ecl

青旅半醒/ 2024年09月27日 21:00/ 0 赞/ 37 阅读

相关 ETL介绍

[640][] **ETL是什么** ![640?wx\_fmt=png][640_wx_fmt_png] **ETL，是英文 Extract-Transform-...

我不是女神ヾ/ 2024年04月17日 23:11/ 0 赞/ 54 阅读

相关 ETL工具Kettle

文章目录一、Kettle概述 1.1 什么是kettle 1.2 Kettle核心知识点 1.3 Kettle特点

朴灿烈づ我的快乐病毒、/ 2023年03月02日 07:39/ 0 赞/ 4 阅读

相关 fiddler和wireshark工具介绍及对比

fiddler和wireshark工具介绍及对比 - \[[测试技术知识][Link 1]\] [版权声明][Link 2]：转载时请以超链接形式标明文章原始出处

女爷i/ 2022年05月22日 03:53/ 0 赞/ 596 阅读

相关 JAVA中三种常用的RPC框架介绍

RPC是远程过程调用的简称，广泛应用在大规模分布式应用中，作用是有助于系统的垂直拆分，使系统更易拓展。Java中的RPC框架比较多，各有特色，广泛使用的有RMI、Hessian

谁践踏了优雅/ 2022年04月06日 11:20/ 0 赞/ 205 阅读

相关三大主流ETL工具选型

http://www.blogjava.net/wxqxs/archive/2009/04/17/277279.html ETL(extract, transform and

梦里梦外;/ 2022年03月25日 10:16/ 0 赞/ 276 阅读

相关 ETL常用的三种工具介绍及对比Datastage，Informatica

转自：[http://www.sohu.com/a/249098751\_100194412][http_www.sohu.com_a_249098751_100194412]

落日映苍穹つ/ 2022年03月09日 15:53/ 0 赞/ 173 阅读

相关 ETL工具大全

转自：[https://bbs.csdn.net/topics/390349305][https_bbs.csdn.net_topics_390349305] 这些年，

淩亂°似流年/ 2022年03月09日 15:11/ 0 赞/ 245 阅读

相关 ETL常用的三种工具介绍及对比Datastage，Informatica和Kettle — 使用手册

转自： [https://blog.csdn.net/qq\_37303226/article/details/90053881][https_blog.csdn.net_qq

喜欢ヅ旅行/ 2021年12月18日 16:49/ 0 赞/ 245 阅读

相关 ETL常用的三种工具介绍及对比Datastage、Informatica、Kettle

ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数

淩亂°似流年/ 2021年10月20日 00:30/ 0 赞/ 347 阅读