KETTLE-从ftp上下载txt文件插入到数据库中

╰半橙微兮° 2022-05-25 07:48 1172阅读 1赞

最近公司要使用kettle从另一台服务器上的ftp上下载txt文件到本地  然后将数据插入到数据库中   ftp的目录是动态的  每天都会生成一个时间目录   如20180510  文件就放在这下面   我们文件名是不变的  所以整个kjb的思路就是先获取动态时间作为变量在ftp组件中使用  下载到本地后  清空表（我们是全量导入 所以清空）  然后再导入数据

折腾了半天   特此记录

首先 来个总图

这是kjb

![70][]

这是获取ftp路径的ktr  也就是为了获取动态时间的目录

![70 1][]

这是将txt数据输入到数据库中的ktr

![70 2][]

文件中的所有路径均为配置的  所以应在kettle.porperties中配置

![70 3][]

接下来展示ktr的具体操作

下图为getUrl的说明

![70 4][]

生成记录为1条

![70 5][]

js代码如下：

//Script here  
Date.prototype.Format = function (fmt) \{   
    var o = \{    
        "M+": this.getMonth() + 1, //月份     
        "d+": this.getDate(), //日     
        "h+": this.getHours(), //小时     
        "m+": this.getMinutes(), //分     
        "s+": this.getSeconds(), //秒     
        "q+": Math.floor((this.getMonth() + 3) / 3), //季度     
        "S": this.getMilliseconds() //毫秒     
    \};    
    if (/(y+)/.test(fmt)) fmt = fmt.replace(RegExp.$1, (this.getFullYear() + "").substr(4 - RegExp.$1.length));    
    for (var k in o)    
    if (new RegExp("(" + k + ")").test(fmt)) fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ? (o\[k\]) : (("00" + o\[k\]).substr(("" + o\[k\]).length)));    
    return fmt;    
\}    
    
var url=new Date(new Date().getTime()).Format("yyyyMMdd");

这样就获取到了时间

![70 6][]

设置变量 方便在kjb的ftp组件中使用

来看txt获取数据到数据库的ktr

![70 7][]

![70 8][]

这里如果数据有乱码 可以设置下编码方式

然后来看kjb

![70 9][]

![70 10][]

这里的$\{URL\}就是刚才获取ftp路径的设置变量     接着远程目录拼接下就可以动态获取到txt文件了     之后通过

![70 11][]

即可获取数据

如果对您有帮助的话  麻烦点个赞哦  比心~

文件下载地址：[https://download.csdn.net/download/weixin\_41634885/11961696][https_download.csdn.net_download_weixin_41634885_11961696]

里面 的数据库信息 需要自行配置

over

==============================================================================

打个广告  有记账需求的  可以看看这个小程序  我自己做的

![20201012085445853.jpg][]

[70]: /images/20220525/123c9931163247dfb2ca691e7ae4b74d.png
[70 1]: /images/20220525/bf02f395524e45bcb5d2fc8364f32634.png
[70 2]: /images/20220525/6b9f7c9fab2c46efa35a9152389f46c1.png
[70 3]: /images/20220525/74b033d7d651483cb84898d2cb959dc9.png
[70 4]: /images/20220525/ad8fdbecdb754062880b1409471199b8.png
[70 5]: /images/20220525/f2d5d4e8aed44247aba1ca855933057e.png
[70 6]: /images/20220525/a7e89e8201bd4edb855b947d3896fdaa.png
[70 7]: /images/20220525/2ccce7f2f8564cf5aeabc060f97753e3.png
[70 8]: /images/20220525/1b1a8877067c4d70aefa4f70022d28a2.png
[70 9]: /images/20220525/a1ac54ec3c704ff7828a4f4976675147.png
[70 10]: /images/20220525/24242cdeb53240f18aacc17e11d4bf7f.png
[70 11]: /images/20220525/2b1278342402429aa0a2de43ec8f0349.png
[https_download.csdn.net_download_weixin_41634885_11961696]: https://download.csdn.net/download/weixin_41634885/11961696
[20201012085445853.jpg]: /images/20220525/722cbb6d49c544c189fcffa7097e98b2.png