Kettle：利用设置变量(时间戳)实现数据增量更新

秒速五厘米 2022-02-15 08:15 797阅读 0赞

转自：[https://blog.csdn.net/AmberTian/article/details/71171784][https_blog.csdn.net_AmberTian_article_details_71171784]

本文整理自：[http://www.2cto.com/database/201510/447072.html][http_www.2cto.com_database_201510_447072.html]

要实现实时的增量更新共有两种方法：

1.通过触发器。在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时 表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务系统有 一定的影响。  
   2.通过时间戳。我是在两边[数据库][Link 1]的表里插入了一列（用来取数据变动时的时间），然后做个计划任务，设置每隔多少时间跑一次kettle，就行了。要实现“实时”，就只能把时间间隔设小一点。

任务 ：利用kettle工具，通过时间戳完成某表实时的增量更新。

利用模块完成即可，如下简图：

![20170504162719142][]

先手工准备一个实验环境：  
准备基本完成如下效果：  
select t.\*, t.rowid from EMP\_ETL t

![20170504162825331][]

编写时间戳ktr转换过程，把原表中最大的hiredate作为变量，如下图：

![20170504162940224][]

下面在“表输入”环节中，使用传递过来的$\{MAXSJ\}作为条件，完成向目标表插入数据，简要流程如下：

![20170504163029350][]

执行转换，完成数据插入，简图如下：

![20170504163245509][]

**总结：对于使用时间戳的方式来完成增量时，这个实验中的方法如果每次都是全表max，当数据量特别大时，效率将大打折扣。而此时，我们就需要添加一个时间戳记录表，另添加一个时间戳字段，每次抽取结束后，将每次抽取后最晚一条记录的时间戳时间记录到时间戳表中，然后每次查询起点时间时只需要从时间戳表中提取即可。**

**![SouthEast][]**

[https_blog.csdn.net_AmberTian_article_details_71171784]: https://blog.csdn.net/AmberTian/article/details/71171784
[http_www.2cto.com_database_201510_447072.html]: http://www.2cto.com/database/201510/447072.html
[Link 1]: http://lib.csdn.net/base/mysql
[20170504162719142]: /images/20220215/d1f8d36dcd3c4da1ab8b902888a86b30.png
[20170504162825331]: /images/20220215/90ec0acbd225474ea232d35b6a8dfcc6.png
[20170504162940224]: /images/20220215/017cf37db4034b41881cca55e0a41b60.png
[20170504163029350]: /images/20220215/f9f893d6bc90422f897bf7fed93209a0.png
[20170504163245509]: /images/20220215/e4bef8dc007245839d0dbb688c73ab3e.png
[SouthEast]: /images/20220215/821447cf438942598a25816e4426005c.png