kettle7.0下实现数据库整体迁移

深藏阁楼爱情的钟 2022-05-28 09:14 343阅读 0赞

一、采用软件自带方式

1.新建一个job，创建两个DB连接：source、target（源数据库和目标数据库连接），在菜单中找到【复制多表向导】，点击进行相关操作：

![Center][]

2.选择源数据库和目标数据库

![Center 1][]

3.选择所需迁移的表

![Center 2][]

4.编辑生成的job文件名：qy.kjb，和文件目录，编辑好后【Finish】

![Center 3][]

5.运行qy.kjb，可在test2数据库中看到成功生成迁移来的表。

![Center 4][]

![Center 5][]

二、自定义数据库迁移（oracle >> mysql）

1.创建一个主job：数据库迁移.kjb

![Center 6][]

2.创建转换：获取表名称.ktr

![Center 7][]

1) 创建一个DB连接：oraclesource（源数据库连接）

![Center 8][]

2)  表输入

![Center 9][]

注：oracle中获取表名SQL:select \* from user\_tables，mysql中为：show tables

3) 字段选择

点击【获取选择的字段】，添加新的字段，选中"TABLE\_NAME"并改名成“tablename”，将其余字段删除

![Center 10][]

4）添加一个【复制记录到结果字符串】

![Center 11][]

3.新建一个job：抽取表.kjb

![Center 12][]

1) 新建一个DB连接：mysqltarget

![Center 13][]

4. 新建一个转换：表名称变量设置.ktr

![Center 14][]

1) 添加一个【从结果获取记录】

![Center 15][]

2）添加一个【设置变量】

![Center 16][]

5.添加一个【检查表是否存在】

![Center 17][]

6.新建一个转换：创建目标库表结构.ktr

![Center 18][]

1) 新建两个DB连接：oraclesource，mysqltarget

创建过程同上

2）添加一个【表输入】

![Center 19][]

3）添加一个【Java代码】，代码如下：

**\[java\]**  [view plain][]   [copy][view plain]

1.  public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException  
2.  \{  
3.      Object\[\] r = getRow();  
4.    
5.      //本地连接获取数据库元数据  
6.      //org.pentaho.di.core.database.DatabaseMeta dbmeta = getTransMeta().findDatabase("target");  
7.    
8.      //资源库连接获取数据库元数据  
9.      org.pentaho.di.core.database.DatabaseMeta dbmeta = null;  
10.       
11.     java.util.List list = getTrans().getRepository().readDatabases();  
12.       
13.     if(list != null && !list.isEmpty())  
14.     \{  
15.         for(int i=0;i<list.size();i++)  
16.         \{  
17.             dbmeta = (org.pentaho.di.core.database.DatabaseMeta)list.get(i);  
18.             if("target".equalsIgnoreCase(dbmeta.getName()))  
19.             \{                 
20.                 break;  
21.             \}  
22.         \}  
23.     \}  
24.   
25.     if(dbmeta!=null)  
26.     \{  
27.         org.pentaho.di.core.database.Database db=new org.pentaho.di.core.database.Database(dbmeta);  
28.           
29.         try  
30.         \{  
31.             db.connect();  
32.   
33.             String tablename = getVariable("TABLENAME");  
34.   
35.             //在日志中显示创建表名  
36.             logBasic("开始创建表：" + tablename);  
37.               
38.             if(tablename!=null && tablename.trim().length()>0)  
39.             \{  
40.                                   
41.                 //获取表名称和输入行数据  
42.                 String sql =  db.getDDLCreationTable(tablename ,getInputRowMeta());  
43.   
44.                 db.execStatement(sql.replace(";", ""));  
45.   
46.                 //在日志中显示sql语句  
47.                 logBasic(sql);  
48.             \}  
49.         \}  
50.         catch(Exception e)  
51.         \{             
52.             logError("创建表出现异常",e);  
53.               
54.         \}finally\{  
55.             db.disconnect();  
56.         \}  
57.     \}  
58.     return false;  
59. \}

7. 新建一个转换：表抽取.ktr

![Center 20][]

1）新建两个DB连接：oraclesource，mysqltarget。

创建过程同上

2） 添加一个【表输入】

![Center 21][]

3）添加一个表输出

![Center 22][]

8.运行数据库迁移.kjb

在mysql数据库test2中成功生成迁移的所有表

![Center 23][]

注：1.此方案是在资源库环境下创建并运行的，需要登陆资源库。

2.此方案下载地址：[点击打开链接][Link 1]

存在问题：当源数据库中存在空表时，会报以下错误：

2017/04/19 14:57:05 - 创建表结构.0 - 开始创建表：KFYQGX  
2017/04/19 14:57:05 - 创建表结构.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : 创建表出现异常  
2017/04/19 14:57:05 - 创建表结构.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : java.lang.NullPointerException  
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.core.database.DatabaseMeta.quoteReservedWords(DatabaseMeta.java:2352)  
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.core.database.Database.getDDLCreationTable(Database.java:4441)  
2017/04/19 14:57:05 - 创建表结构.0 -  at Processor.processRow(Processor.java:45)  
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.trans.steps.userdefinedjavaclass.UserDefinedJavaClass.processRow(UserDefinedJavaClass.java:1018)  
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)  
2017/04/19 14:57:05 - 创建表结构.0 -  at java.lang.Thread.run(Thread.java:745)

[Center]: /images/20220528/c15658d939ae4ac8a57ff731e0755204.png
[Center 1]: /images/20220528/9a25f3f0097a41d0b5b7eef4ab44a695.png
[Center 2]: /images/20220528/92c73a35ae0941029522488481ab45f6.png
[Center 3]: /images/20220528/87de3c449c6e45fc8f69993cada81357.png
[Center 4]: /images/20220528/ab6b92e7c72744d280f18e7256bfc4ae.png
[Center 5]: /images/20220528/48b8b8adf4d240c2b6c77bf1583be451.png
[Center 6]: /images/20220528/fc901228ca1a4bdca1662d3fdd5dd066.png
[Center 7]: /images/20220528/96410e13d443454791c2272495b34813.png
[Center 8]: /images/20220528/70b98fe2e21b4e99ad00bd5cbb6977ea.png
[Center 9]: /images/20220528/e967f4ef94334a43a1a96f83039d0975.png
[Center 10]: /images/20220528/84e0d925295d48a098d853c31ad299d3.png
[Center 11]: /images/20220528/d12f83869b024916ab0bd3e0cf852b42.png
[Center 12]: /images/20220528/7aa42999590642bda52dfe442aeb9888.png
[Center 13]: /images/20220528/d728391f0e7a4907ad4130f693b8a451.png
[Center 14]: /images/20220528/da878c8cc285410d8c0864d90b3c02e2.png
[Center 15]: /images/20220528/f96accb376e14de7812a57259931b6a6.png
[Center 16]: /images/20220528/2205be2330d04e2bb373bab6c891256e.png
[Center 17]: /images/20220528/1ffb742cdfe64607a6c8bf3069f32e17.png
[Center 18]: /images/20220528/0471b52b5d7c43ef86e68535c67d8488.png
[Center 19]: /images/20220528/e31e04749af5426cbc7beaf480f7e5ab.png
[view plain]: https://blog.csdn.net/sunggff/article/details/70213417#
[Center 20]: /images/20220528/4ee46d1602d34719833dd8ac6efd9a11.png
[Center 21]: /images/20220528/fbbcff820ee44e3b8572a4e30a404aea.png
[Center 22]: /images/20220528/79168014d97e4302b24d3f773b524ddb.png
[Center 23]: /images/20220528/ecfd87016abd44d881489af98ee4d0d9.png
[Link 1]: http://download.csdn.net/detail/sunggff/9819287