FLINK数据倾斜的解决思路

我会带着你远行 2023-10-06 19:44 36阅读 0赞

#### 排查思路 ####

##### 1、查看该任务是否有反压现象 #####

利用Flink WebUi查看任务是否有反压情况，结果正常，没有出现反压现象。

如果有反压，一般是红色节点往后的一个节点效率或者处理耗时很多，经常出现的是 开窗 分组，维表join，或者 sink 节点入库时间太久等情况。总之根据 web ui 找到对应节点， 可以增大并发，调整资源。

##### 2、 查看是否有数据倾斜现象 #####

当出现数据倾斜的时候，某一个窗口的数据太大导致无法处理或者处理很慢，所以造成kafka中数据堆积太多。

这种情况出现数据倾斜，是由于 按照字段 keyBy，热点数据过多出现倾斜。 热点数据 可能是随访问量 或则交易量增加、或者数据里出现的大量重复的值。  
然后刚好按照这个字段进行 keyBy 导致。

##### 3、 解决办法 #####

对于keyby的数据倾斜的解决办法可以是对key进行改造，让数据分布更加均匀。

也可以 过滤掉这些重复的脏数据。如果是因为垃圾数据造成的，就直接将它过滤掉就好，没有必要进行改造key的操作

##### 4、改造key的实现 #####

这里当然也提供一下改造key的方法实现，原理就不解释了，很简单。

env.addSource(new CustomBeanSource()).keyBy(ele -> ele.getDeviceName() + "-" + new Random().nextInt(10))
                    .timeWindow(Time.seconds(60))
                    .sum("bandWidth")
                    .keyBy(ele -> ele.getDeviceName())
                    .sum("bandWidth")
                    .addSink(....)

sql实现

SELECT id,sum(sum_level) sumLevel
    FROM
    (
    	SELECT nk,sum(`level`) sum_level,id FROM 
    	(
    	select id,`level`,concat(id,'-',ROUND(10*RAND(),0)) nk
    	FROM
    	test
    	) t1
    	GROUP BY nk
    ) t2
    GROUP BY id