kettle集群配置

桃扇骨 2024-04-19 12:59 68阅读 0赞

一．前期准备  
1.Windows Sever 2012 64位（Kettle\_Master） 一定要有除C盘以外的其他盘存在，关闭服务器防火墙  
2.Centos7.2 64位（Kettle\_Slave）需要以rpm方式安装webkitgtk（安装包见附件），关闭服务器防火墙  
3.Jdk1.8（window版和linux版都需要）  
Windows版安装教程：https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html  
Centos版安装教程  
https://blog.csdn.net/weixin\_38168694/article/details/100891532  
4.Kettle7.1（安装包见附件，安装包在windows、linux下通用）  
5.Mysql、Oracle等常见数据库驱动jar包见附件，若没有请自行下载并放到kettle安装好的lib路径下  
6.附件下载地址：  
https://pan.baidu.com/s/1ehlFvrF-7rj-wEMuqhpX5g 提取码：z7xz  
二．Master配置  
1.在windows sever 2012非C盘路径下创建kettle文件夹；  
2.把附件中的pdi-ce-7.1.0.0-12.zip解压后的pdi-ce-7.1.0.0-12文件拷贝到第一步创建的kettle文件夹下；  
3.把kettle/pdi-ce-7.1.0.0-12/data-integration下的pwd文件夹替换成附件中的pwd；  
4.编辑C:\\Windows\\System32\\drivers\\etc\\hosts，在文件末尾添加一行本机IP地址与主机名  
例如10.10.10.38 master  
5.启动Master有两种方法  
(1)通过配置文件启动  
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，输入Carte.bat ./pwd/carte-config-master-9090.xml，出现监听端口号，浏览器输入IP地址:端口号出现登录弹框，用户名：cluster密码：cluster 成功登录表示Master启动成功。  
(2)通过主机名 IP地址 端口号启动  
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，输入Carte.bat master 9090，出现监听端口号浏览器输入IP地址:端口号出现登录弹框，用户名：cluster密码：cluster 成功登录表示Master启动成功。  
三．Slave配置  
1.在root文件夹下创建kettle文件夹 mkdir kettle；  
2.将附件中的pdi-ce-7.1.0.0-12.zip解压后的pdi-ce-7.1.0.0-12文件拷贝到第一步创建的kettle文件夹下；  
3.配置好windows后把C:\\Users\\Administrator.kettle下的repositories.xml文件拷贝到linux下root/.kettle下面。  
4.Cd 到kettle/pdi-ce-7.1.0.0-12/data-integration下，通过ftp形式把pwd文件替换成附件中的pwd；  
5.编辑centos hosts文件 vim /etc/hosts，在文件末尾添加一行本机IP地址与主机名，例如10.10.10.39 slave1  
6.启动Master有两种方法  
(3)通过配置文件启动  
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，输入./Carte.sh ./pwd/carte-config-9091.xml，出现监听端口号，浏览器输入IP地址:端口号出现登录弹框，用户名：cluster密码：cluster 成功登录表示Master启动成功。  
(4)通过主机名 IP地址 端口号启动  
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，输入Carte.bat slave1 9091，出现监听端口号浏览器输入IP地址:端口号出现登录弹框，用户名：cluster密码：cluster 成功登录表示Master启动成功。  
Slave节点不止一台，多台重复上述步骤，端口号依次修改即可，本教程是一台Windows Master，三台 Centos Slave，若实际操作配置不同对pwd文件做针对性操作即可。  
四．集群任务配置  
1.Windows Sever 2012上进入kettle/pdi-ce-7.1.0.0-12/data-integration下，启动spoon.bat；  
2.出现图形化界面后右上方登录连接数据库，用户名密码默认均为admin，连接数据库测试错误请回看前期准备工作说明；  
3.连接成功后登录，创建交换任务，表输入、数据排序、表输出设置  
https://blog.csdn.net/lixuemei504/article/details/38271145  
4.将上述链接中的集群配置的主机名、IP、端口号全部换成配置文件的设置；  
5.新建执行配置，选择集群节点，执行成功，对应节点输出日志，到此Kettle集群搭建成功。  
五．注意事项  
1.Master与Slave上的配置要同步，pwd、配置文件、数据库驱动。  
2.对服务器上kettle进行修改操作后一定要重启kettle服务  
3.为了集群正常使用建议在Master上用Xshell控制Slave  
六．遗留问题  
1.网站访问中文会乱码但不影响任务流程；