spark 数据倾斜解决方案

﹏ヽ暗。殇╰゛Y 2022-05-19 04:23 226阅读 0赞

1. 数据倾斜的原理

在执行shuffle操作的时候，按照key，来进行values的数据的输出、拉取、和聚合的，

同一个key的values，一定是分配到一个reduce task进行处理的。

多个key对应的values,总共有90万，但是问题是，可能某个key对应了88万条数据，key-88万values，分配到了一个task上面去执行，另外俩个task，可能各分配到了1万数据，可能是数百个key,对应1万条。

想象一下，出现数据倾斜以后的运行情况，很糟糕，

第一个和第二个task,各分配到了1万条数据，需要10分钟，计算完毕；第一个和第二个task，可能同时在10分钟内都运行完了，第三个task要88万条，需要880分钟=14.5个小时

本来另外俩个task很快就运行完毕了（10分钟），但是由于一个拖后腿的家伙，第三个task，要14.5个小时才能运行完，就导致整个spark作业，也得14.5个小时才能运行完，

导致spark作业，跑的特别特别慢

数据倾斜一旦出现简直就是性能杀手

2. 数据倾斜的现象

spark数据倾斜有俩种表现：

1. 你的大部分task，都执行的特别特别快，刷刷刷，就执行完毕了，（你要用client模式，standalone client,yarn client，本地机器主要一执行spark-submit脚本，就会开始打印log）,

task175 finished;....

剩下几个task执行特别特别慢，前面的task，一般1s可以执行完5个，最后发现1000个task,998,99task,要执行1个小时，2个小时才能执行完毕，这是就是出现数据倾斜了，这种现象还算好，虽然慢，但是还能跑

2. 运行的时候，其他task都刷刷刷执行完了，也没特别问题，但是有的task,就是会突然间，怕，报了一个OOM,JVM Out Of Memory，内存溢出了，task failed,task lost,resubmitting task.反复执行几次都跑不懂，到了某个task就是跑不通，最后挂掉，

某个task就直接OOM,那么基本上也是因为数据倾斜了，task分配的数量是在是太大了！！！所以内存放不下，然后你的task每处理一条数据，还要创建大量的对象，内存爆掉了，出现数据倾斜了

这种就不太好，因为你的程序如果不去解决数据倾斜的问题，压根就跑不出来

3. 数据倾斜产生原因与定位

根据log去定位

出现数据倾斜的原因，基本只可能是因为发生了shuffle操作，在shuffle的过程中，出现了数据倾斜问题，因为某个，或者某些key对应的数据，远远的高于其他的key

1. 在自己程序里面找找，哪些地方会产生shuffle,groupByKey,countByKey,reduceByKey,join

2. 看log，log一般会报是在你的哪一行代码，导致了OOM异常，或者呢，看log,看看是执行到了第几个stage！！！通过stage来定位到代码哪里发生了数据倾斜

去找找代码那个地方，是哪个shuffle操作

发表评论取消回复

表情：

评论列表（有 0 条评论，226人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 数据倾斜

Spark 数据倾斜　　 Spark 中的数据倾斜问题主要指 shuffle 过程中出现的数据倾斜问题，是由于不同的 key 对应的数据量不同导致的不同 tas...

红太狼/ 2024年04月20日 09:13/ 0 赞/ 40 阅读

相关 Spark之数据倾斜完美解决方案

前面给大家讲过MapReduce的数据倾斜解决方案以及优化，今天就给大家说下Spark的数据倾斜解决方案。简单来说数据倾斜就是数据的 key 的分化严重不均，造成一部分数据

古城微笑少年丶/ 2022年11月25日 13:13/ 0 赞/ 117 阅读

相关 Hive Sql/ Spark Sql 数据倾斜优化方案

[(260条消息) spark sql 数据倾斜案例实操\_苏苏爱自由-CSDN博客\_spark sql 数据倾斜][260_ spark sql _-CSDN_spark

向右看齐/ 2022年10月16日 07:38/ 0 赞/ 197 阅读

相关 Spark 优化——数据倾斜解决方案

目录一、什么是数据倾斜数据倾斜的表现：定位数据倾斜问题：二、解决方案解决方案一：聚合原数据 1) 避免 shuffle 过程 2) 缩小 key 粒度（

拼搏现实的明天。/ 2022年09月10日 09:26/ 0 赞/ 200 阅读

相关 Spark 数据倾斜及其解决方案

Spark 数据倾斜及其解决方案参考文章： [（1）Spark 数据倾斜及其解决方案][1_Spark] （2）https://www.cnblogs.com/vivo

偏执的太偏执、/ 2022年09月10日 05:17/ 0 赞/ 182 阅读

相关 spark 数据倾斜

一. 数据倾斜的现象 1、spark中一个stage的执行时间受限于最后那个执行完的task，因此运行缓慢的任务会拖累整个程序的运行速度（分布式程序运行的速度是由最慢的那

迈不过友情╰/ 2022年05月31日 05:40/ 0 赞/ 212 阅读

相关 spark 数据倾斜解决方案

1. 数据倾斜的原理在执行shuffle操作的时候，按照key，来进行values的数据的输出、拉取、和聚合的，同一个key的values，一定是分配到一个reduce

﹏ヽ暗。殇╰゛Y/ 2022年05月19日 04:23/ 0 赞/ 227 阅读

相关 [spark 面试]Spark解决数据倾斜问题

一、前述数据倾斜问题是大数据中的头号问题，所以解决数据倾斜尤为重要，本文只针对几个常见的应用场景做些分析。二。具体方法 1、使用Hive ETL预处理

红太狼/ 2022年05月14日 02:34/ 0 赞/ 173 阅读

相关 Spark数据倾斜解决方案

数据倾斜的原因：在数据中存在一个或少数数量key对应的数据量特别大，导致在spark处理task进行shuffle的时候，大部分task都很快的执行

忘是亡心i/ 2022年04月11日 13:56/ 0 赞/ 260 阅读

相关 Spark 解决倾斜

1 提前过滤异常值 2 增大shuffle并行度 3 两阶段聚合（局部聚合+全局聚合）【仅仅适用于聚合类的shuffle操作，适用范围相对较窄】 4 异常值 join .

客官°小女子只卖身不卖艺/ 2021年09月25日 04:38/ 0 赞/ 316 阅读