kettle数据迁移从oracle到mysql

- 日理万妓 2022-05-25 00:37 663阅读 0赞

**1 kettle安装及运行**  
[kettle官网下载地址][kettle],下载完毕后大概有800多m  
![1][]  
下载完毕后，直接解压，双击Spoon.bat进行运行。  
![1][1 1]  
如果在你的电脑上启动之后，没有进入下面的页面，那么就换台机器。修改 `Spoon.bat`中java内存参数不一定好使。

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"

![2][]  
**2 数据库连接**  
将数据从oracle迁移到mysql，需要先在kettle中建立oracle和mysql数据库连接，注意`mysql-connector-java-5.1.45.jar`和`ojdbc14-10.2.0.1.0.jar`要在kettle启动之前拷贝进去。  
**2.1 mysql**  
将`mysql-connector-java-5.1.45.jar`拷贝到`data-integration\lib`目录下  
![2][2 1]  
按照下图操作，输入相关的数据连接参数  
![2][2 2]  
配置字符集  
![2][2 3]  
**2.2 oracle**  
将`ojdbc14-10.2.0.1.0.jar`拷贝到`data-integration\lib`目录下  
![3][]  
按照下图操作，输入相关的数据连接参数  
![4][]  
**3 最基本的导数据**  
导入数据的基本流程如下图，可以分为三个步骤，首先建立源数据库和目标数据库的连接，然后建立源数据表和目标数据表的映射关系，最后建立作业任务，执行。  
![1][1 2]  
**3.1 建立DB连接**  
这个在上面第2章已经将做如何配置了。  
**3.2 建立steps**  
这一步实现源数据库和目标数据表的映射关系，它也有三个步骤  
**3.2.1表输入**  
第一步：在【转换】里面，选择【核心对象】，接着双击【表输入】，或者选中将【表输入】拖拽到右侧空白区域。  
![1][1 3]  
第二步：双击你拖进来的【表输入】，修改“步骤名称”，选择源数据，点击获取【获取SQL查询语句】，选择你想同步的表，点击确定后，就可以了。当然你也可以自己写sql语句  
![2][2 4]  
**3.2.2 字段选择**  
第一步：在【转换】里面，拖拽【字段选择】到右侧空白区域。  
第二步：按住shift 拖动鼠标连接【客户基本信息输入】和 【字段选择】  
第三步：双击【字段选择】，添加【列映射】，建立源表和目标表中列字段的映射，如果字段名称相同，kettle会自动帮你选择，如果不同，则需要你自己选择对应关系  
![3][3 1]  
下图是匹配完成，点击确定后的结果。  
![4][4 1]  
第四步：这一步可选，当源数据字符集与目标字符集不同的时候需要做字符转换，如果一致，则直接跳过这一步  
![5][]  
**3.2.3 表输出**  
第一步：在【转换】拖拽【表输出】到右侧空白区域，按住shift 拖动鼠标连接【字段选择】和【基本信息输出】  
![1][1 4]  
第二步：双击【表输出】，修改“步骤名称”，选择“数据库连接”，选择“目标表”，  
![2][2 5]  
第三步：获取字段，因为在【字段选择】中已经做了匹配，所以这里可以全选，kettle可以帮你全部选择  
![3][3 2]  
第四步： ctrl+s 保存 ktr文件  
**4 建立作业**  
按照下图新建作业  
![1][1 5]  
**4.1 设置START**  
拖拽【START】到右侧空白区域  
![1][1 6]  
**4.2 配置作业转换**  
第一步：拖拽【转换】到右侧空白区域，并按住shift 拖动鼠标连线  
![2][2 6]  
第二步：选择第3章保存的ktr文件，保存即可。  
![3][3 3]  
第三步：手工运行作业，点击下图红色圈圈里面的按钮  
![4][4 2]  
进入下面的页面，点击【执行】就可以了。  
![5][5 1]  
查看日志，下面的是结果正常的。如果有错，kettle会提示你错误原因。  
![6][]  
**4.3 定时执行**  
如果不想立即执行，那么可以选择制定的规则，让kettle定期执行。具体操作，可双击【START】，更改“类型”，下图示例是制定每天的具体时刻。  
![1][1 7]  
运行的时候，选择Start Job at 就可以了。  
![2][2 7]  
你会发现画风会停到下面这里  
![3][3 4]  
跟踪日志，你会发现它会按照我设置的时间开始执行  
![4][4 3]  
**参考资料**  
[KETTLE 从oracle将表导入mysql][KETTLE _oracle_mysql]  
[Kettle数据抽取（转换）出现乱码问题解决方法][Kettle]

[kettle]: https://community.hitachivantara.com/docs/DOC-1009855
[1]: /images/20220525/38295d0707084671a322a90568f86152.png
[1 1]: /images/20220525/4687863bbe9d4e01848379acb7d94ca6.png
[2]: /images/20220525/2d71d3e944604a50ba90ab151c4f4797.png
[2 1]: /images/20220525/32358de421e34666a827faaadd58ab80.png
[2 2]: /images/20220525/26105d89fba04f7cbe42cd8db8b89647.png
[2 3]: /images/20220525/0ebb5de6e4b14ccf93b4472031cca00e.png
[3]: /images/20220525/e8ab65b853a8406da3aed65d715ecae7.png
[4]: /images/20220525/9a35afa990b744f5a30882060994319d.png
[1 2]: /images/20220525/716702784c024b13ada48af1eb4177c8.png
[1 3]: /images/20220525/8b449a01dcbc46d986e90d4cc32cf368.png
[2 4]: /images/20220525/8d6373fa56594275ac7e6c734c7af35e.png
[3 1]: /images/20220525/313798f4252e4fe483118c1699d05009.png
[4 1]: /images/20220525/dcfcb78131cf45198f3b1b140992a99f.png
[5]: /images/20220525/5716658c6b8845d6aa93ca3f4484c36a.png
[1 4]: /images/20220525/f410264f21cb47528acf6f978d99d4fe.png
[2 5]: /images/20220525/ea7b010a827b44aea3650968e7d578f8.png
[3 2]: /images/20220525/c4cc8405605b4a7c85f21848eba3b0ba.png
[1 5]: /images/20220525/080e826a58444b30b1e46b987150de6b.png
[1 6]: /images/20220525/54ac487286d542cfbe327d54a1ffeb2a.png
[2 6]: /images/20220525/69e8f967f9d74cbf94cd3a91ad53eec3.png
[3 3]: /images/20220525/b6f1d494bc6a4a95a9daabc7342fc8bb.png
[4 2]: /images/20220525/fe44c050a79e4b47b4eac9f5832d9d2f.png
[5 1]: /images/20220525/ccb4535a9acb456f8e90436fc2712f96.png
[6]: /images/20220525/9bc669d00dbb4d408cd0672940b007c8.png
[1 7]: /images/20220525/5c0a27d4d656496d96bab96ed3e7e1c7.png
[2 7]: /images/20220525/329095b518dc486785fd1fefef698450.png
[3 4]: /images/20220525/b55e3664439849bb95a27281a02955bc.png
[4 3]: /images/20220525/589b1b9c80694616a6dabefa23b7d47c.png
[KETTLE _oracle_mysql]: https://blog.csdn.net/qq642999119/article/details/50600178
[Kettle]: https://blog.csdn.net/philip502/article/details/17762437