kettle 批量抽取多个表数据

缺乏、安全感 2022-01-07 09:47 354阅读 0赞

转自：  [https://blog.csdn.net/qq\_35318838/article/details/53322530][https_blog.csdn.net_qq_35318838_article_details_53322530]

版权声明：本文为博主原创文章，欢迎转载，转载时请注明文章出处http://blog.csdn.net/qq\_35318838，如有其它用途请同博主联系。 https://blog.csdn.net/qq\_35318838/article/details/53322530  
使用kettle从一个库将数据抽取到另一个库，单个表一个转换就可以简单实现了，那如果是好多表呢，难道要建若干个转换来实现这个功能吗，那就尝试做一个批量抽取的job吧！

整个抽取过程包括一个job和两个trans，先来看看整个job吧：

job的start和success就没什么可说的了，两个脚本是关键，接下来一步一步来。

首先是文件输入这个trans：  
   
这个trans的作用是提取表名并放入结果集中，表输入是用一段SQL语句将表名输出，字段选择是将SQL输出的那个含有表名的字段提取出来并重新命名，最后含有表名的记录复制到结果集中，方便下一个步骤的使用。

接下来设置变量的脚本：  
var prevRow=previous\_result.getRows();//获取上一个传递的结果集  
if (prevRow == null &&(prevRow.size()=0))  
\{  
    false;

\}else\{  
    parent\_job.setVariable("tables", prevRow);//ArrayList存储表名变量  
    parent\_job.setVariable("size", prevRow.size());//存储执行表的总数量  
    parent\_job.setVariable("i", 0);//循环控制变量  
    parent\_job.setVariable("TABLENAME", prevRow.get(0).getString("tablenames",""));  
    true;  
\}  
1  
2  
3  
4  
5  
6  
7  
8  
9  
10  
11  
12  
先获取上一个步骤的结果集，并将表名以ArrayList格式存储在tables这个变量中，将表的数量放入size这个变量中，定义i变量方便稍后控制循环，最后，将这个结果集中的第一个表名取出来并放入到TABLENAME这个变量中。   
这个脚本的作用是将你要用的表名放到一个变量中，然后再设置另一个变量遍历取表名，这是很重要的一步。因为在job中有设置变量的这个选项，但是设置变量后，所有的表名都会在这一个变量中，如果你在下一步骤直接取用该变量的值，你得到的不是一个一个的表名，而是闪闪发光的红色报错。   
没有表传入是条件判断false后的结果。   
接下来就是这个抽取的核心了，

首先是条件判断：

接着就是数据抽取：

最后就是遍历下一个表名：  
var list\_Tables =parent\_job.getVariable("tables").replace(" ","").replace("\[","").replace("\]","").split(",");  
var size = new Number(parent\_job.getVariable("size"));  
var i = new Number(parent\_job.getVariable("i"))+1;  
if(i<size)\{  
    parent\_job.setVariable("TABLENAME", list\_Tables\[i\]);  
\}  
parent\_job.setVariable("i",i);  
true;  
1  
2  
3  
4  
5  
6  
7  
8  
条件判断简洁后就是if i<size，然后对取出的表名进行抽取工作，很简单，一个表输入，一个表输出，就是一个表的抽取trans，只不过里面用的不是常量表名，而是变量表名select \* from $\{TABLENAME\}（记得勾选替换变量哦）。最后的脚本密密麻麻的一坨，其实就是取出变量TABLENAME中的下一个表名，并且i++，这一步在我看来是最难的，因为不会写啊！   
打完收工！

。。。。。还没完呢   
总结一下：

目的：减少重复造轮子，那就是造一个模具

难点：在kettle中没有循环这个组件，想要实现就得自己动手实现循环

关键点：利用两个脚本来实现变量的设置和变量的遍历，再用一个检验字段的值实现条件判断，辛辛苦苦只是为了实现一行代码for（i=0;i<size;i++)

未解决的困难：在抽取表数据的时候发现，如果表中有clob字段并且存的数据很大的话，会抽取失败，原因是

> Clob 太大, 无法存储在 Java 字符串中  
                     这个问题也再网上找过答案，但是木有找到解决的方法，如果网友有解决方法，敬请留下，感激不尽  
1  
2  
后续：这个抽取数据的过程有个前提，那就是两个库里都有相同的表和对应的表结构，所以我在上述中也没有写到判断有没有表存在，下一步希望能够实现自动动态创建表，然后加到上述的job中，那就完美了。

打完收工  
2016.11.29   
总结4已解决：   
经排查，上述的clob太大，无法存储的问题是因为有一个clob的字段的字符长度为31800，然后其余的字段都低于1800，将字符长度为31800的字段剔除后，能正常的抽取数据，可见是因为clob的字符长度过长引起的无法存储。

2017-030-03

资源下载  
\---------------------   
作者：飞羽喂马   
来源：CSDN   
原文：https://blog.csdn.net/qq\_35318838/article/details/53322530   
版权声明：本文为博主原创文章，转载请附上博文链接！

[https_blog.csdn.net_qq_35318838_article_details_53322530]: https://blog.csdn.net/qq_35318838/article/details/53322530