在Kettle里使用参照表进行数据校验（子转换实现）

Bertha 。 2022-02-12 19:35 188阅读 0赞

转自：[https://blog.csdn.net/wzy0623/article/details/53887111][https_blog.csdn.net_wzy0623_article_details_53887111]

版权声明：本文为博主原创文章，未经博主允许不得转载。    https://blog.csdn.net/wzy0623/article/details/53887111  
  有一种参照表叫数据确认主表。性别编码就是这种参照表的例子。有的系统使用字母M、F和U，分别代表男、女、未知；有的系统使用NULL来代表未知的性别；有的系统使用Male和Female代表男、女；而有的系统则使用完全不同的编码，如0（男）、1（女）或0（未知）、1（男）、2（女），等等。还有更复杂的情况，有的系统使用C代表儿童，使用F代表父亲，M代表母亲，各种变化和组合都有可能。要把从这些来源的数据整合到一起，要有一套统一的编码规范，然后把已有的编码映射到规范的编码上。使用单一的查询表比每个系统都有一个查询表要更好，便于维护。这里要满足两个基本的需求：  
源系统中的每个可能的值都需要映射  
要映射到唯一的一组值。  
  基于前面说的性别的例子，需要建立下面的主表。ref\_code和ref\_name字段，是要获取的标准数据，src\_system字段是数据来源于哪个应用或系统，src\_code字段包含了这个系统里可能的值。  
create table lkp\_codes (    
    id int primary key,    
    ref\_code varchar(1),    
    ref\_name varchar(10),    
    src\_system varchar(10),    
    src\_code varchar(10)    
)  engine=myisam;    
    
insert into lkp\_codes values(1,'M','Male','Sales','1');    
insert into lkp\_codes values(2,'F','Female','Sales','2');    
insert into lkp\_codes values(3,'M','Male','Web','male');    
insert into lkp\_codes values(4,'F','Female','Web','female');    
insert into lkp\_codes values(5,'M','Male','CRM','F');    
insert into lkp\_codes values(6,'F','Female','CRM','M');    
insert into lkp\_codes values(7,'U','Unknown','CRM','C');    
  为了便于查询，数据是以非正规的结构来组织。但这种结构适合要求，而且容易查询，根据源系统的名称和原始的数据，就能查询到标准的三个值：M、F、U。

主转换流程的结构如下：

要给子转换步骤定义一个变量，在映射步骤“参数”标签下设置变量。在这个例子里，把值为Web的变量传递给子转换genderlookup。

子转换流程的结构如下：

在子转换里使用这个变量：

子转换里的流查询步骤非常简单：只需设置好条件，输入数据的src\_code1等于参照表的src\_code字段，并指定要返回的字段即可。注意这里必须要设置一个默认值，来处理NULL和未知的值。完整的流查询步骤如下：

说明：原始数据里可能会包含NULL值，但NULL并不是数据库里的一个真正的值。NULL=NULL这样的比较条件也不会成功。这就是为什么没有把对NULL值的匹配放到参照表里，以及为什么在流查询步骤里一定要设置一个默认值的原因。

\---------------------   
作者：wzy0623   
来源：CSDN   
原文：https://blog.csdn.net/wzy0623/article/details/53887111   
版权声明：本文为博主原创文章，转载请附上博文链接！

[https_blog.csdn.net_wzy0623_article_details_53887111]: https://blog.csdn.net/wzy0623/article/details/53887111