ETL数据抽取工具

古城微笑少年丶 2022-05-22 07:43 461阅读 0赞

ETL负责将分布的、异构数据源中的数据如关系数据、

平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

# 旗鼓相当：Datastage与Powercenter： #

就Datastage和Powercenter而言，这两者目前占据了国内市场绝大部分的份额，在成本上看水平相当，虽然市面上还有诸如Business Objects公司的Data Integrator、Cognos公司的DecisionStream，但尚属星星之火，未成燎原之势。

谈Datastage和Powercenter，如果有人说这个就是比那个好，那听者就要小心一点了。在这种情况下有两种可能：他或者是其中一个厂商的员工，或者就是在某个产品上有很多经验而在另一产品上经验缺乏的开发者。为什么得出这一结论？一个很简单的事实是，从网络上大家对它们的讨论和争执来看，基本上是各有千秋，都有着相当数量的成功案例和实施高手。确实，工具是死的，人才是活的。在两大ETL工具技术的比对上，可以从对ETL流程的支持、对元数据的支持、对数据质量的支持、维护的方便性、定制开发功能的支持等方面考虑。

一个项目中，从数据源到最终目标表，多则上百个ETL过程，少则也有十几个。这些过程之间的依赖关系、出错控制以及恢复的流程处理，都是工具需要重点考虑。在这一方面，Datastage的早期版本对流程就缺乏考虑，而在6版本则加入Job Sequence的特性，可以将Job、shell脚本用流程图的方式表示出来，依赖关系、串行或是并行都可以一目了然，就直观多了。Powercenter有Workflow的概念，也同样可以将Session串联起来，这和Datastage Sequence大同小异。

ETL的元数据包括数据源、目标数据的结构、转换规则以及过程的依赖关系等。在这方面，Datastage和Powercenter从功能上看可谓不分伯仲，只是后者的元数据更加开放，存放在关系数据库中，可以很容易被访问（Informatic把Metadata全部放在数据库中而Datastage是自己管理Metadata，不依赖任何数据库.）。此外，这两个厂家又同时提供专门的元数据管理工具，Ascential有Metastage，而Informatica拥有Superglue。你看，就不给你全部功能，变着法子从你口袋里面多掏点钱。

数据质量方面，两种产品都采用同样的策略——独立出ETL产品之外，另外有专门的数据质量管理产品。例如和Datastage配套用的有ProfileStage和QualityStage，而Informatica最近也索性收购了原先OEM的数据质量管理产品FirstLogic。而在它们的ETL产品中，只是在Job或是Session前后留下接口，所谓前过程、后过程，虽然不是专为数据质量预留的接口，不过至少可以利用它外挂一些数据质量控制的模块。

在具体实现上看，Datastage通过Job实现一个ETL过程，运行时可以通过指定不同参数运行多个实例。Powercenter通过Mapping表示一个ETL过程，运行时为Session，绑定了具体的物理数据文件或表。在修改维护上，这两个工具都是提供图形化界面。这样的好处是直观、傻瓜式的；不好的地方就是改动还是比较费事（特别是批量化的修改）。

定制开发方面，两者都提供抽取、转换插件的定制，但笔者认为，Datastage的定制开发性要比Powercenter要强那么一点点。因为Datastage至少还内嵌一种类BASIC语言，可以写一段批处理程序来增加灵活性，而Powercenter似乎还缺乏这类机制。另外从参数控制上，虽然两者的参数传递都是比较混乱的，但Datastage至少可以对每个job设定参数，并且可以job内部引用这个参数名；而Powercenter显得就有些偷懒，参数放在一个参数文件中，理论上的确可以灵活控制参数，但这个灵活性需要你自己更新文件中的参数值（例如日期更新）。另外，Powercenter还不能在mapping或session中引用参数名，这一点就让人恼火。

总起来看，Datastage和Powercenter可谓旗鼓相当，在国内也都有足够的支持能力，Datastage在2005年被IBM收购之后，可以说后劲十足。而Informatica则朝着BI全解决方案提供商方向发展，Powercenter显然还将是它的核心产品。

# ODI #

ODI提出了知识模块的概念，把这些场景的详细的实现步骤作为一个一个的知识模块并使用Jython脚本语言结合数据库的SQL语句录制成一步一步的步骤忠实地记录下来，这样就形成了ODI里的100多个知识模块，基本上包含了所有普通应用所涉及到的所有场景。更方便的是，用户既可以直接使用ODI的知识模块完成数据的获取工作，也可以直接在知识模块上面做各种定制，比如某一个业务场景可能并不需要知识模块里的某一个特定的步骤，那就可以直接把该步骤删除掉从而提供更好的性能。当然用户也可以完全自己来开发这些知识模块。

ODI的知识模块主要分为几个大类（RKM,CKM,LKM,IKM,SKM），其中最重要的是LKM（load KM）和IKM(Integration KM)RKM。  
RKM:完成从源系统和目标系统的数据结构的反向工程来形成数据模型的功能。  
CKM:CKM完成数据质量检查。  
LKM：LKM完成从源数据库数据加载到临时表。  
IKM：IKM完成从临时表的数据加载到目标表。  
SKM：SKM完成ODI和WEB服务接口的功能。

ODI的性能不是很好，Powercenter > Datastage > ODI

# 独树一帜：Teradata的ETL Automation #

继续要说的第三种产品是Teradata的ETL Automation。之所以拿它单独来说是因为它和前面两种产品的体系架构都不太一样。与其说它是ETL工具，不如说是提供了一套ETL框架。它没有将注意力放在如何处理“转换”这个环节上，而是利用Teradata数据库本身的并行处理能力，用SQL语句来做数据转换的工作，其重点是提供对ETL流程的支持，包括前后依赖、执行和监控等。

这样的设计和Datastage、Powercenter风格迥异，后两者给人的印象是具有灵活的图形化界面，开发者可以傻瓜式处理ETL工作，它们一般都拥有非常多的“转换”组件，例如聚集汇总、缓慢变化维的转换。而对于Teradata的ETL Automation，有人说它其实应该叫做ELT，即装载是在转换之前的。的确，如果依赖数据库的能力去处理转换，恐怕只能是ELT，因为转换只能在数据库内部进行。从这个角度看，Automation对数据库的依赖不小，似乎是一种不灵活的设计。也正是这个原因，考虑它的成本就不单单是ETL产品的成本了。

其实，在购买现成的工具之外，还有自己从头开发ETL程序的。

ETL工作看起来并不复杂，特别是在数据量小、没有什么转换逻辑的时候，自己开发似乎非常节省成本。的确，主流的ETL工具价格不菲，动辄几十万；而从头开发无非就是费点人力而已，可以控制。至于性能，人大多是相信自己的，认为自己开发出来的东西知根知底，至少这些程序可以完全由自己控制。

就目前自主开发的ETL程序而言，有人用c语言编写，有人用存储过程，还有人用各种语言混杂开发，程序之间各自独立。这很危险，虽然能够让开发者过足编码的瘾，却根本不存在架构。

有位银行的朋友，他们几年前上的数据仓库系统，就是集成商自己用c语言专门为他们的项目开发的。单从性能上看似乎还不赖，然而一两年下来，项目组成员风雨飘零，早已物是人非，只有那套程序还在那里；而且，按照国内目前的软件工程惯例，程序注释和文档是不全或者是不一致的，这样的程序已经对日常业务造成很大阻碍。最近，他们已经开始考虑使用ETL工具重新改造了。

### Informatica ###

安装教程

https://www.cnblogs.com/chinas/p/6691389.html

Talend

# [使用Talend Open Studio将数据分步从oracle导入到hive中][Talend Open Studio_oracle_hive] #

https://www.cnblogs.com/justinzhang/p/4607331.html

Kettle

业界最有名的开源ETL工具。开源当然就免费，免费的有些东西使用就不是很方便。

# 国产ETL软件—udis睿智ETL： #

再来看国产的, 采用SOA架构体系，具有更好的方便性和灵活性.缺点是配置复杂，缺少对元数据的管理。

# 总体比较列表： #

<table style="border-spacing:0px;width:852px;font-size:14px;background-color:rgb(255,255,255);color:rgb(0,0,0);font-family:Arial;line-height:26px;"> 
 <tbody> 
 <tr> 
 <td colspan="4" style="margin:0px;">ETL工具选型参照表</td> 
 </tr> 
 <tr> 
 <td colspan="2" style="margin:0px;">工具</td> 
 <td style="margin:0px;">优点</td> 
 <td style="margin:0px;">缺点</td> 
 </tr> 
 <tr> 
 <td style="margin:0px;"> 主流工具</td> 
 <td style="margin:0px;">Datastage</td> 
 <td style="margin:0px;">内嵌一种类BASIC语言，可通过批处理程序增加灵活性，可对每个job设定参数并在job内部引用</td> 
 <td style="margin:0px;">早期版本对流程支持缺乏考虑；图形化界面改动费事</td> 
 </tr> 
 <tr> 
 <td style="margin:0px;">Powercenter</td> 
 <td style="margin:0px;">元数据管理更为开放，存放在关系数据库中，可以很容易被访问</td> 
 <td style="margin:0px;">没有内嵌类BASIC语言，参数值需人为更新，且不能引用参数名；图形化界面改动费事</td> 
 </tr> 
 <tr> 
 <td style="margin:0px;">Automation</td> 
 <td style="margin:0px;">提供一套ETL框架，利用Teradata数据仓库本身的并行处理能力</td> 
 <td style="margin:0px;">对数据库依赖性强，选型时需要考虑综合成本（包括数据库等）</td> 
 </tr> 
 <tr> 
 <td style="margin:0px;">udis睿智ETL</td> 
 <td style="margin:0px;">适合国内需求，性价比高</td> 
 <td style="margin:0px;">配置复杂，缺少对元数据的管理</td> 
 </tr> 
 <tr> 
 <td colspan="2" style="margin:0px;">自主开发</td> 
 <td style="margin:0px;">相对于购买主流ETL工具，成本较低</td> 
 <td style="margin:0px;">各种语言混杂开发，无架构可言，后期维护难度大。 
 <div> 
 
 </div></td> 
 </tr> 
 </tbody> 
</table>

[Talend Open Studio_oracle_hive]: https://www.cnblogs.com/justinzhang/p/4607331.html