13.3 Spark调优-JVM调优,shuffle调优, Reduce OOM

向右看齐 2022-05-14 04:51 440阅读 0赞

JVM调优：

Executor JVM堆内存 分为三块 静态资源划分

(60%（RDD以及广播变量存储的位置）+20%（运行内存）+20%（reduce 聚合内存）)\*90%+10%（JVM自身预留） = JVM堆内存

![70][]

JVM的gc回收流程(属于运行内存中)：

在task中创建出来的对象首先往eden和survior1种存放，survior2是空闲的。当eden和survior1区域放满以后就会触发minor gc(小型垃圾回收)，清理掉不再使用的对象(死亡)。

会将存活下来的对象放入survior2中，如果存活下来的对象大于survior2的大小，那么JVM就会通过担保机制将多余的对象直接放入到老年代中。

如果这个时候年轻代的内存不是很大的话就会经常的进行minor gc(小型垃圾回收)，频繁的minor gc会导致这段时间内有些存活的对象(多次垃圾回收都没有回收掉，一直在用又不能被释放)频繁的倒来倒去，会导致这些短生命周期的对象(不一定长期使用)每进行一次垃圾回收就会长一岁，年龄过大默认15岁，垃圾回收还是没有回收回去的就会跑到老年代里面去。

就会导致老年代中存放大量的短生命周期的对象，老年代应该存放的是数量比较少并且长期使用的对象，比如数据库连接池。这样的话，老年代就会溢满，触发full gc，因为本来老年代中的对象很少，很少进行full gc因此采取了不太复杂但消耗性能和时间的垃圾回收算法。

不管minor gc还是full gc都会导致JVM的工作线程停止

总结：堆内内存不足造成的影响

1，频繁的minor gc

2，老年代大量的短生命周期的对象会导致full gc

3，有了gc 就会影响Spark的性能和运行速度

增加内存或者提高运行内存比例解决频繁gc

还有一种方案：

统一的内存管理：JVM堆内存-300M

运行内存 占剩余内存的50%

存储内存 占剩余内存的50%

运行内存和存储内存可互相借用