Spark数据倾斜解决方案

忘是亡心i 2022-04-11 13:56 259阅读 0赞

*  ## 数据倾斜的原因： ##

在数据中存在一个或少数数量key对应的数据量特别大，导致在spark处理task进行shuffle的时候，大部分task都很快的执行完毕，剩下的少数task执行时间特别长甚至直接fail。

*  ## 解决方案： ##

### 1、直接从源头进行解决： ###

1.1 在spark的上游--处理源数据的过程中，直接将可能会发生数据倾斜的数据根据key聚合为一条数据，从根本上杜绝了发生数据倾斜的可能性。

1.2 如果业务上可以接受丢失可能发生数据倾斜的数据，那么spark加载数据的时候直接使用filter算子将可能发生数据倾斜的数据筛除。

###  2、不能从源头解决的情况： ###

** 2.1  针对groupByKey、countByKey等shuffle算子:**

2.1.1 增大reduce端的并行度  
              
            假设key为1的数据引起了数据倾斜，那么在使用groupByKey或者countByKey算子进行shuffle的时候，传入参数，比如groupByKey(500)  
            ，设置reduce端的并行度为500，在处理数据的时候就可以创建更多的task来处理数据。  
              
  2.1.2 二次shuffle聚合  
              
            问题既然是key对应的数据过多，那么就想办法使key对应的数据变少，数据量是不变的，所以只有增加key的数量，才能使key对应的数据量变少。  
              
            具体操作：  
              
                1.先使用sample采样找出比如10%的数据，然后找出里面对应数据最多的一个或者几个key；  
                2.对rdd进行map，如果key是属于上一步骤找到的key，则在key前面拼接一个随机数，比如【1\_key】，然后进行shuffle操作；  
                3.将结果rdd再次进行map，将之前拼接的key还原，再次进行shuffle操作。  
              
            注意点：  
                  
                最好先采样，对可能导致数据倾斜的rdd的key进行拼接，否则如果对每个rdd的key都进行拼接的话，虽然可能导致数据倾斜的rdd的key对应的value数量变少，但是可能会导致普通数量的rdd的key对应的数量也变少了，效果可能不太理想。  
                  
                所以最好只对可能导致数据倾斜的rdd的key进行拼接。

**2.2 针对join算子**

2.2.1 将rdd变为broadCast变量,适用map的方式进行join  
              
            适用情景：一个较小的rdd去join一个较大的rdd  
              
            操作方法：data = sc.broadCast(rdd.collect());  
                      data.value;  
                        
                      再通过逻辑判断来替换join的功能  
                        
2.2.2 sample采样倾斜key单独进行join ----【类似2.1.2】  
          
2.2.3 扩大数据规模  
              
            适用条件：两个rdd都比较大  
              
            操作步骤：在内存允许的情况下适用flatMap将一个rdd的key加上一个随机数作为前缀以扩容  
                      另外一个rdd则mapToPair将key加上随机数前缀

--------------------

欢迎加群大家一起学习大数据~群里还有很多资料可供参考~

大数据大佬菜鸡交流群 575419003