Flink常用转换算子及物理分区

谁践踏了优雅 2023-03-02 13:27 87阅读 0赞

## 一.转换算子 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70]

## 二.物理分区 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 1]

## 三.任务链和资源组 ##

链接两个后续的转换意味着将它们共同定位在同一线程内以获得更好的性能。如果可能的话，默认情况下Flink会链接运算符【例如，两个后续的映射转换】。如果需要，API可以对链接进行细粒度的控制：

*  StreamExecutionEnvironment.disableOperatorChaining()：在整个作业中禁用链接。为了获得更精细的控制，可以使用以下功能。请注意，这些函数只能在DataStream转换后使用，因为它们引用的是先前的转换。例如，可以使用someStream.map(…).startNewChain()，但不能使用someStream.startNewChain()。

资源组是Flink中的插槽，参考slot。如果需要，可以手动将operator隔离在单独的插槽中。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70]: /images/20230208/f61f145cf6614f54bc366f2fc8b0d65e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 1]: /images/20230208/a0192c1cd14942019711c5818b830db7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，87人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink：算子Transformation常用API

DataStream和DataSet的用法一样 // DataStream StreamExecutionEnvironment env = Stream

阳光穿透心脏的1/2处/ 2024年03月23日 10:34/ 0 赞/ 48 阅读

相关【API篇】三、Flink转换算子API

文章目录 0、demo数据 1、基本转换算子：映射map 2、基本转换算子：过滤filter 3、基本转换算子：扁平映射flatMap 4、

Bertha 。/ 2024年02月21日 09:07/ 0 赞/ 42 阅读

相关【API篇】四、Flink物理分区算子API

文章目录 1、分区算子：随机分区 2、分区算子：轮询分区 3、分区算子：重缩放分区 4、分区算子：广播 5、分区算子：全局分区 6、

绝地灬酷狼/ 2024年02月21日 07:37/ 0 赞/ 53 阅读

相关 Flink 1.17教程：转换算子（Transformation）

数据源读入数据之后，我们就可以使用各种转换算子，将一个或多个`DataStream`转换为新的DataStream。 ![在这里插入图片描述][ba276e29251d4b

我就是我/ 2023年10月15日 15:22/ 0 赞/ 9 阅读

相关 Spark常用算子

1、transformation算子 – 单value ![E5_9B_BE_E7_89_87-36.png][] 2、 transformation算子 – 双va

Myth丶恋晨/ 2023年07月20日 13:45/ 0 赞/ 86 阅读

相关 Flink常用转换算子及物理分区

一.转换算子 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9

谁践踏了优雅/ 2023年03月02日 13:27/ 0 赞/ 88 阅读

相关 flink无状态转换算子map() flatMap()

Apache Flink常见的一些场景为数据的ETL（抽取、转换、加载）管道任务。从一个或多个数据源获取数据，进行一些转换操作和信息补充，将结果存储起来。无状态转换

浅浅的花香味﹌/ 2022年12月01日 01:21/ 0 赞/ 183 阅读

相关一文学完Flink流计算常用算子（Flink算子大全）

Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。所以下面将Flink的算子分为两大类：

╰半橙微兮°/ 2022年09月01日 00:03/ 0 赞/ 229 阅读

相关 halcon常用算子（1）

sub\_image (ImageConverted1, ImageConverted2, ImageSub, 1, 0)一幅图减另一幅图。用一幅图的灰度减另一幅的灰度成新的一

深碍√TFBOYSˉ_/ 2022年05月27日 04:15/ 0 赞/ 178 阅读

相关 spark 常用算子总结

[https://blog.csdn.net/fortuna\_i/article/details/81170565 链接][https_blog.csdn.net_

朱雀/ 2022年04月03日 05:56/ 0 赞/ 281 阅读