kettle循环解决连接oracle数据库报错Connection reset

蔚落 2021-12-14 23:55 1606阅读 0赞

# **第二种循环源文件下载：[connection\_reset.rar][connection_reset.rar]** #

介绍两种循环方式，一种是官方自带例子，通过job组件执行每一行来循环，第二种通过javaScript脚本组件循环，同时可以解决接oracle数据库报错Connection reset的问题

# **1.kettle8官方案例** #

文件位置：$KETTLE\_HOME/samples/jobs/process all tables

这个例子是先获取数据库中的所有表名，统计表格表的数据条数，最后输出到txt上

包含文件和作用：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70][]

流程控制总job

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 1][]

transformation（转换）：Get list of tables as result

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 2][]

组件1：get list of tables

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 3][]

自带数据库连接

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 4][]

组件2：Concat Fields

把TABLE\_SCHEMA字段和TABLE\_NAME拼接成一个字段TABLE\_SCHEMA\_NAME，分隔符为英文句号

组件3：tables.txt

查询出来的表名称TABLE\_NAME输出到txt

输出的文件路径，可以把鼠标移动到上面就会显示

![20190704101809493.png][]

组件4:Select values

只选择一个字段TABLE\_SCHEMA\_NAME并且重命名成tablename

组件5:Copy rows to result

把表名称复制到结果集上，在下一个transformaton里面可以使用Get rows from result获取到结果集

Job(作业)：Process a table

前面一个transformation获取到5条数据，数据到Process a table 这个job上需要勾选执行每一条数据，这点就是循环的关键

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 6][]

transformation（转换）：Define TABLE variable

![20190704104508567.png][]

组件1：get one tablename

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 7][]

组件2：set $\{TABLENAME\}

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 8][]

transformation（转换）：Get amount of rows from table

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 9][]

组件1：Number of rows in $\{TABLENAME\}

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 10][]

组件2：rows-$\{TABLENAME\}.txt

查询到一个结果输出到一个txt上，文件名为$\{java.io.tmpdir\}/rows-$\{TABLENAME\}

输出结果为：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 11][]

transformation（转换）：save list of all result files

把输出的txt合并成一个，该例子有点问题需要修改一下才行，做循环的话这部分可以忽略

# **2.通过job step里的JavaSrcipt 组件构建循环** #

这个例子是自己写的，主要功能是连接oracle数据库时发生 'Connection reset by peer' or 'Connection reset'  的错误

作业如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 12][]

其中js代码

var count;
    var count_max;
    //获取当前循环次数
    count = parent_job.getVariable("EP_V_ID");
    //获取允许的最大循环次数
    count_max = parent_job.getVariable("EP_V_MAX_ID");
    
    //当前次数等于最大循环次数
    if(count == count_max){
        //返回false给js脚本组件，js脚本组件往红色线执行
        false;
    
    }else{
        //当前循环次数加1
        count = parseInt(count) + 1;
        //替换jvm中的循环次数
        parent_job.setVariable("EP_V_ID", count);
        //返回true给js脚本组件，js脚本组件往绿色线执行
        true;
    
    }

相当于如下循环：

for（int i=0;i++）\{

if(数据库连接成功)  break;

if(i==5) break;

print("数据库连接信息")

这种方式也可以循环便利数组，js中数组的使用方法具体的可以参考官网上的js脚本说明

[connection_reset.rar]: https://download.csdn.net/download/guihui666666/12023861
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70]: /images/20211214/63bc8b75b10a4a239082f15291f4d0fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 1]: /images/20211214/a2896e57c4614541bf4fbfe19d2fb556.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 2]: /images/20211214/06435acaabf44c22b6b17d7a752435ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 3]: /images/20211214/4ba2ebd0409f4b7bae741e03503a5cd9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 4]: /images/20211214/93241edf1177404a9835ecd3b67dfb0d.png
[20190704101809493.png]: /images/20211214/bbbdbefe840347cd8a50eb45376f0ef2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 5]: /images/20211214/cb8333524373447aa87beeaa17c14550.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 6]: /images/20211214/f23090e111f14c04b456029c5f821538.png
[20190704104508567.png]: /images/20211214/9fd2f96d640443e4a15461efe0d03966.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 7]: /images/20211214/7fd45eb7ac6b444d9137027be5ad56c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 8]: /images/20211214/ebd4d95e6f9548878c1749e4e8ac65c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 9]: /images/20211214/fdac9f057efb4f2ca66c1ec3603ba54a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 10]: /images/20211214/f6cf277a4921405398c721d005593cd1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 11]: /images/20211214/1043cb77b8e2432ebcbbf7cecf056ada.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aWh1aTY2NjY2Ng_size_16_color_FFFFFF_t_70 12]: /images/20211214/57eb78fa1cf9461a8264c22b9b04ef5e.png