Slipstream中的并行流处理

淡淡的烟草味﹌ 2021-09-18 00:32 363阅读 0赞

与[《Kafka中的消费者组》][Kafka]类似，Slipstream中多个流也可以同时接收同一topic的数据进行不同的操作。值得注意的是，Slipstream中的一个Input Stream对应着Kafka中的一个Consumer Group。

**1、并行流的建立**

并行流的建立非常简单，在[《Slipstream中的衍生流》][Slipstream]建立的基础上，再建立一个新的输入流和衍生流即可，新建的输入流需与之前的输入流指向同一个topic。为了测试并行，这里指定新建的衍生流增加一个字符串截取的功能，如下：

create stream stream_b2 as select id,substr(name||pwd,1,4) as sp from stream_a2;

其中，stream\_a2为新建的输入流。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

**2、并行流处理数据**

*  创建Oracle测试表并启动Flume

此操作与[《Slipstream中的衍生流》][Slipstream]中创建Oracle测试表、启动Flume的操作相同。

*  触发流

创建一个表，用于接收stream\_b2传过来的数据，例如：

CREATE TABLE table_c2 (id STRING, sp STRING);

最后，通过下列语句触发流：

INSERT INTO table_c SELECT * FROM stream_b;
    
    INSERT INTO table_c2 SELECT * FROM stream_b2;

通过4044监控界面查看触发是否成功：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

*  测试并行流

在Oracle中插入几条数据，如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

查询table\_c和table\_c2中是否接收到了处理后的全部数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3][]

至此，并行流测试成功。

[Kafka]: https://blog.csdn.net/gdkyxy2013/article/details/86644919
[Slipstream]: https://blog.csdn.net/gdkyxy2013/article/details/86742077
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/6bb1bf02a6a54e5ba76ffd4b7ffcc409.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/4f0c3001732d46aeaa00fa45c72dcfe0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/e283d681d79244fcbb305617e71ec95d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3]: /images/20210726/b00b4519579f4b6eb3014fffffe4c264.png