Flink 1.17教程：物理分区算子（Physical Partitioning）之随机分区（shuffle）

小灰灰 2023-10-15 18:18 55阅读 0赞

### 物理分区算子（Physical Partitioning） ###

常见的物理分区策略有：随机分配（Random）、轮询分配（Round-Robin）、重缩放（Rescale）和广播（Broadcast）。

#### 随机分区（shuffle） ####

最简单的重分区方式就是直接“洗牌”。通过调用DataStream的.shuffle()方法，将数据随机地分配到下游算子的并行任务中去。  
随机分区服从均匀分布（uniform distribution），所以可以把流中的数据随机打乱，均匀地传递到下游任务分区。因为是完全随机的，所以对于同样的输入数据, 每次执行得到的结果也不会相同。  
![在这里插入图片描述][60b2944b3d11488fb35ed71fcbee8a5a.png]

经过随机分区之后，得到的依然是一个DataStream。  
我们可以做个简单测试：将数据读入之后直接打印到控制台，将输出的并行度设置为2，中间经历一次shuffle。执行多次，观察结果是否相同。

public class ShuffleExample {
        
        public static void main(String[] args) throws Exception {
        
    
            StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    		 env.setParallelism(2);
    
            DataStreamSource<Integer> stream = env.socketTextStream("hadoop102", 7777);;
    
            stream.shuffle().print()
    
            env.execute();
        }
    }

[60b2944b3d11488fb35ed71fcbee8a5a.png]: https://img-blog.csdnimg.cn/60b2944b3d11488fb35ed71fcbee8a5a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，55人围观）

还没有评论，来说两句吧...

相关阅读

相关【API篇】四、Flink物理分区算子API

文章目录 1、分区算子：随机分区 2、分区算子：轮询分区 3、分区算子：重缩放分区 4、分区算子：广播 5、分区算子：全局分区 6、

绝地灬酷狼/ 2024年02月21日 07:37/ 0 赞/ 17 阅读

相关 Flink 1.17教程：物理分区算子（Physical Partitioning）之随机分区（shuffle）

物理分区算子（Physical Partitioning）常见的物理分区策略有：随机分配（Random）、轮询分配（Round-Robin）、重缩放（Rescale）和

小灰灰/ 2023年10月15日 18:18/ 0 赞/ 56 阅读

相关 Flink常用转换算子及物理分区

一.转换算子 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9

谁践踏了优雅/ 2023年03月02日 13:27/ 0 赞/ 64 阅读

相关 PARTITION 按照月份分区

废话不多说，先上分区SQL CREATE TABLE `demo`( `id` bigint(20) NOT NULL AUTO_INCREMEN

ゝ一纸荒年。/ 2022年08月30日 05:15/ 0 赞/ 186 阅读

相关 mapreduce之partition分区

听了超哥的一席课后逐渐明白了partition，记录一下自己的理解！（thanks 超哥） package partition; import ja

短命女/ 2022年08月25日 12:51/ 0 赞/ 213 阅读

相关 Shuffle阶段：partition分区以及自定义使用注意事项

一：partition分区(shuffle阶段) Mapreduce中会将map输出的kv对，按照相同key分组，然后分发给不同的reducetask（所以这也决定了

野性酷女/ 2022年06月04日 10:18/ 0 赞/ 197 阅读

相关 Kafka——分区partition

在之前的例子里([Kafka生产者——向 Kafka写入数据][Kafka_ Kafka])， ProducerRecord 对象包含了目标主题、键和值。 Kafka 的消息是

我就是我/ 2022年05月17日 12:27/ 0 赞/ 231 阅读

相关 MYSQL之水平分区----MySQL partition分区

一、分区的概念二、为什么使用分区？（优点）三、分区类型四、子分区五、对分

小灰灰/ 2022年04月18日 03:33/ 0 赞/ 436 阅读

相关 MySQL数据库：分区Partition

一、分区：分区就是将表的数据按照特定规则存放在不同的区域，也就是将表的数据文件分割成多个小块，在查询数据的时候，只要知道数据数据存储在哪些区域，然后直接在对应的区域进行

╰半夏微凉°/ 2022年04月02日 06:20/ 0 赞/ 297 阅读

相关表分区-partition

partition分区：设置分区限制，t0:1-10，t1:10-20，t2:20-最大值： ![image.png][] 插入数据后可以看到topic表出现了t0、t

绝地灬酷狼/ 2022年01月10日 11:35/ 0 赞/ 307 阅读