kettle-数据源配置化-开发、生产采用不同配置

àì夳堔傛蜴生んèń 2021-12-20 10:59 390阅读 0赞

转自：  [https://www.cnblogs.com/double-kill/p/8213894.html][https_www.cnblogs.com_double-kill_p_8213894.html]

# [kettle-数据源配置化-开发、生产采用不同配置][https_www.cnblogs.com_double-kill_p_8213894.html] #

数据etl常用工具kettle。

1、说明：

kettle-数据源配置化：是指kettle的数据源连接信息全部或者部分从配置文件中读取（如果是数据库的资源库，那么资源库也可以配置化）。

2、优点：

1、这样程序本身就和kettle的业务解绑了，开发、生产采用不同配置；每次开发完成就可以直接导入线上，再也不用手动去修改连接信息（少改少错，不改就不错）。

2、可以对开发人员保密线上的连接信息，保证数据安全。

在开发和部署的时候不用再关心线上、开发、测试环境的数据源不一样，每次上线需要手动修改的麻烦。

3、资源库的方式有2种：

(1)、文件方式。方便迁移、分布式环境下需要自己解决文件同步。

(2)、数据库方式。会有数据库锁的问题。不用维护文件同步问题。集群部署支持好。

**(3)、读取配置文件的方式，对上面2中资源库类型都是支持的，没有影响。**

**                          数据库方式的资源库中的数据源连接信息，也可以从配置文件读取（共享的数据源、非共享的数据源都可以）。**

4、kettle配置文件的位置：

windows 默认在：C:\\Users\\用户\\.kettle

linux 默认在：/root/.kettle/

5、配置文件：

下图是kettle的三个核心配置文件。依次是配置信息文件、资源库配置文件、共享数据源配置文件

![1307888-20180106163629128-357897265.png][]

6、我们在kettle界面上看看具体的配置是怎么样的

(1)、资源库的连接信息：从配置文件中读取

![1307888-20180106165745003-322619322.png][]

(2)、数据源的连接信息：从配置文件中读取

![1307888-20180106170020221-1846919565.png][]

(3)、hadoop的连接信息：从配置文件中读取

![1307888-20180106170436737-1396015963.png][]

7、下面分别看一下三个文件的内容

(1)、配置信息文件

这里特别说明：**配置好之后，线上、线下只有这个配置文件的内容不一样。其他配置都是一样的。这样在开发好之后可以直接导入线上。连数据源、资源库的连接名都不用改。**

![1307888-20180106170312784-1830648167.png][]

(2)、资源库配置文件

![1307888-20180106165001065-504077747.png][]

(3)、共享数据源配置文件

如果没有配置共享数据源，则这个文件是空的，如果有，跟上图的连接信息类似。

![1307888-20180106170933862-697958521.png][]

[https_www.cnblogs.com_double-kill_p_8213894.html]: https://www.cnblogs.com/double-kill/p/8213894.html
[1307888-20180106163629128-357897265.png]: /images/20211220/a262bc317ced4e63a3c7e2b497954e14.png
[1307888-20180106165745003-322619322.png]: /images/20211220/350d9c746cc749618c6aeef6f5cf3a30.png
[1307888-20180106170020221-1846919565.png]: /images/20211220/8cddec89f7b9492cb2c9d69a018e9baf.png
[1307888-20180106170436737-1396015963.png]: /images/20211220/73133bab7e5f4eccbea300710f1cb7a2.png
[1307888-20180106170312784-1830648167.png]: /images/20211220/e812aa116c8f4e8a980b809271ef9125.png
[1307888-20180106165001065-504077747.png]: /images/20211220/01978168323645fc8acf5507a8157144.png
[1307888-20180106170933862-697958521.png]: /images/20211220/de1931fb6eaf4c0e828cde39c178ba48.png