kettle流程以及sql流程使用

末蓝、 2022-10-02 15:52 280阅读 0赞

一、etl在bi中的作用

![1658457-20190614161623435-1731849944.png][]

BI流程：  
由数据后台例如数据库-----到数据缓冲区取出来-----数据集市-----给应用服务器提供数据------发布给用户

图中左边：为数据后台、业务系统、可能是数据库，从中抽出数据

中间：是etl的流程，抽到图中左下是数据缓冲区，左上是根据维度建好的多个数据集市。etl：描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。

右边：为数据前台，将应用服务器提供的数据发布给用户。

二、kettle的优点

1、流程式的设计方便易用

2、全面的数据访问支持

3、插件架构扩展性好

4、支持多平台.

三、构建一个简单的转换

在进行kettle流程之前，要先连接资源库，资源库包括：数据资源库和文件资源库。

![1658457-20190614164102412-1821637821.png][]

这里我连接了数据资源库，工具-------资源库-------配置。

然后在左上角新建一个转换流程，kettle中主要包含转换和job两种作业方式。

![1658457-20190614164244716-1455626731.png][]

做一个随机数生成---------然后过滤-----------输出到文本文件

![1658457-20190614164327103-1931689496.png][]

生成的随机数都在0-1之间

右键随机数可以选择生成随机数的数量。

![1658457-20190614164405130-1964667968.png][]

然后输出到桌面的文件中。

四、做一个由mysql写入pg的数据清洗写入流程。

![1658457-20190614164605908-1766951041.png][]

表输入：从mysql中读取某表的数据并对数据进行清洗

SELECT
      id
    , ecode
    , outid
    , termid
    , cardsnr
    , opdt
    , colldt
    , rectype
    , ioflag
    , updateflag
    , updatedt
    , downdt
    , replace (replace(termname, '\0', '' ), ' ', '' ) AS termname
    , name
    FROM m_rec_kqmj WHERE substr(termname, 1, 1 ) IN ( 'A', 'B', 'C', 'D', 'E', 'F', 'Y' )

表输出：将读取到的表写入到gp数据库中，在写入之前要在gp数据库中提前建好表。

表输入3：从mysql中读取另外一张表，这张表要与表输入中的表进行innerjoin，但此表不用写入到gp中。

记录集连接:根据字段选择连接方式，要提前对两表进行排序。

表输出2：将merge好的表写入gp数据库。

转载于:https://www.cnblogs.com/languid/p/11024180.html

[1658457-20190614161623435-1731849944.png]: /images/20220109/1ecee2d10e3a4e279a3487cda05bc8c4.png
[1658457-20190614164102412-1821637821.png]: /images/20220109/67965e80966e4837b1d7881fcc4c5cb5.png
[1658457-20190614164244716-1455626731.png]: /images/20220109/3df4c495d16f411cbff9d9abbf281da6.png
[1658457-20190614164327103-1931689496.png]: /images/20220109/d7f2feb01eb44ef293c5c656355350cc.png
[1658457-20190614164405130-1964667968.png]: /images/20220109/9a484ea9acc345dfa21459995bcd241f.png
[1658457-20190614164605908-1766951041.png]: /images/20220109/abdf7516e47d4aaaaccc22d122335a52.png