spark之jvm调优

「爱情、让人受尽委屈。」 2022-05-24 05:54 307阅读 0赞

### 转自:https://blog.csdn.net/lxhandlbb/article/details/52987928 ###

### 一、性能调优分类： ###

#### 1.常规性能调优： 分配资源，并行度。。等。 ####

#### 2.JVM调优：JVM相关的参数。 ####

通常情况下，如果你的硬件配置，基础的JVM的配置，都ok的话，JVM通常不会造成太严重的性能问题，反而更多的是，   
在troubleshooting中，JVM占了很重要的位置！！

JVM造成 线上的spark作业运行报错，甚至失败（比如OOM）

#### 3.shuffle 调优: spark 在执行groupByKey，reduceByKey等操作时，shuffle环节的调优，这个很重要。 ####

shuffle 调优，其实对spark作业的性能影响，是相当之高！！！

经验： 在spark作业的运行过程中。

只要一牵扯到shuffle的操作，基本上shuffle操作的性能消耗，要占到spark作业的50%~90%。

10%用来运行map等操作。   
90% 耗费在两个shuffle操作。groupByKey、CountByKey。

#### 4. spark操作调优 （Spark算子调优） ： groupByKey ，countByKey 或aggregateByKey来重构实现。 ####

有些算子的性能，是比其他一些算子的性能要高的。

例如：foreachPartion 替代 foreach。

### 二、调优层次： ###

*  1.分配资源并行度，RDD架构与缓存。
 *  2.shuffle调优
 *  3.spark算子调优
 *  4.JVM，广播大变量

### 三、JVM原理概述 ###

降低cache操作的内存占比

#### 1.理论基础： ####

spark是用scala开发的。spark的scala代码调用了很多java api。   
scala也是运行在java虚拟机中的。spark是运行在java虚拟机中的。

java虚拟机可能会产生什么样的问题：内存不足？？！！

我们的RDD的缓存、task运行定义的算子函数，可能会创建很多对象。   
都可能会占用大量内存，没搞好的话，可能导致JVM出问题。

当一个eden，survivor 区域放满之后，触发minor gc 小型垃圾回收。

eden：survivor：survivor = 8:1:1

如果一次gc后，存活下来的对象需要占用1.5 个survivor。   
那么一个survivor 放不下。   
就会根据担保机制，把多余的对象，直接放入老年代了。

如果你的JVM内存不够大，可能导致年轻代频繁地内存满溢，频繁进行minor gc。

频繁的minor gc会导致 短时间内，有些存活的对象，多次垃圾回收都没有回收掉。会导致这种短生命周期（其实不一定是长期使用的），垃圾回收次数太多，还没没被回收，跑到 老年代中去（担保机制）

*  1
 *  2

而，理想情况下，老年代放生命周期长的，比如数据库连接池！！

导致：老年代中，可能会因为内存不足，囤积着一大堆，短生命周期的，本来应该在年轻代中的，可能马上就要回收掉的对象。

此时可能导致老年代频繁满溢，频繁进行full gc （全局/ 全面） 。   
而full gc很慢。（ stop the word ，简而言之，gc的时候，spark 停止工作了。 等着垃圾回收结束。）

full gc 这个算法的设计，是针对 ，老年代中的对象数量很少，满溢进行full gc的频率应该很少，因此采取了不太复杂，但是消耗性能和时间的垃圾回收算法。

full gc/minor gc 无论是快还是慢， 都会导致jvm的 工作线程停止工作。

#### 2.内存不充足的时候，导致： ####

*  1.频繁minor gc 也会导致spark停止工作。
 *  2.老年代 囤积大量活跃对象（短生命周期的对象。） 导致full gc 。full gc 短则数十秒，长则几分钟，甚至几分钟。   
    导致spark 长时间停止工作。
 *  3.严重影响spark的性能和运行的速度。

### 四、如何调优 ###

> 1.Spark中为何需要降低cache操作的内存占比。

spark中，堆内存又被划分成两块（一块专门用来给RDD的cache ，persist操作进行rdd数据缓存用）   
另外一块 就是给spark算子，运行使用，存放自己创建的对象。

默认情况下，给rdd cache 操作的内存占比 是 0.6 60% 都给 cache操作了。

但是有些情况下cache不是那么紧张，导致 算子操作的对象，内存不足，因此导致full gc。

> 2.观察方法：

针对上述情况，大家可以 在 spark webui观察。   
yarn 去运行的话，那么就通过yarn的界面，去查看你的spark作业的 运行统计。   
很简单， 大家一层一层点击进去就好。

可以看到每个stage 的运行情况。 包括每个task的运行时间统计。gc时间。

如果发现gc太贫乏。时间太长，那么就可以适当调整这个比例。

降低cache操作的内存占比，大不了用persist 操作。选择一部分缓存的rdd数据写入磁盘，或者序列化的的方式。配合kryo序列化类。   
减少rdd缓存的内存占用，降低cache操作内存占比。

对应的 算子函数的内存占比，就提升了。   
这个时候，可能就减少minor gc 的频率，同时减少full gc的频率，对性能的 提升 有一定帮助的。

> 简而言之就是，让task 执行算子的时候，有更多的内存！！！！

### 五、调参 ###

spark.storage.memoryFraction , 0.6->0.5->0.4->0.3(视实际情况)

发表评论取消回复

表情：

评论列表（有 0 条评论，307人围观）

还没有评论，来说两句吧...

相关阅读

相关八、Spark性能调优——JVM 调优

对于 JVM 调优，首先应该明确， full gc/minor gc，都会导致 JVM 的工作现场停止工作，即 stop the world。一、降低 cache 操作的

忘是亡心i/ 2023年06月06日 03:54/ 0 赞/ 338 阅读

相关 Spark性能调优之Shuffle调优

Spark性能调优之Shuffle调优 • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零

客官°小女子只卖身不卖艺/ 2022年10月07日 05:43/ 0 赞/ 481 阅读

相关 Spark调优之Shuffle调优

shuffle调优调优概述大多数[Spark][]作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操

矫情吗；*/ 2022年06月14日 06:55/ 0 赞/ 514 阅读

相关 Spark调优之数据倾斜调优

前言继[《][Link 1][Spark][]性能优化：开发调优篇》和[《Spark性能优化：资源调优篇》][Spark 1]讲解了每个Spark开发人员都必须熟知的

野性酷女/ 2022年06月14日 06:55/ 0 赞/ 388 阅读

相关 Spark调优之资源调优

在开发完[Spark][]作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该

桃扇骨/ 2022年06月14日 06:54/ 0 赞/ 473 阅读

相关 Spark调优之开发调优

1、前言在[大数据][Link 1]计算领域，[Spark][]已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处

ゞ浴缸里的玫瑰/ 2022年06月14日 06:54/ 0 赞/ 452 阅读

相关 spark之jvm调优

转自:https://blog.csdn.net/lxhandlbb/article/details/52987928 一、性能调优分类： 1.常规性能调优：分

「爱情、让人受尽委屈。」/ 2022年05月24日 05:54/ 0 赞/ 308 阅读

相关 spark调优 JVM调优

我们的堆内存分为：新生代，和年老代，年轻代又分为：Eden区，幸存一区，幸存二区，每一次访对象的时候，都是放入eden区域，和其中的一个幸存一区中，幸存二区是不放对象的

￡神魔★判官ぃ/ 2022年05月18日 23:13/ 0 赞/ 1596 阅读

相关 13.3 Spark调优-JVM调优,shuffle调优, Reduce OOM

JVM调优： Executor JVM堆内存分为三块静态资源划分 (60%（RDD以及广播变量存储的位置）+20%（运行内存）+20%（reduce 聚合内存）)\90

向右看齐/ 2022年05月14日 04:51/ 0 赞/ 442 阅读

相关 JVM之调优

什么时候需要调优？ 1. heap 内存（老年代）持续上涨达到设置的最大内存值 2. Full GC 次数频繁 3. GC 停顿时间过长（超过1秒） 4. 应用出

ゞ浴缸里的玫瑰/ 2022年03月25日 07:50/ 0 赞/ 310 阅读