spark性能优化，分配更多的资源

Love The Way You Lie 2022-05-20 09:12 168阅读 0赞

其实性能优化的王道，就是增加更多的资源

1. 分配哪些资源

2. 在哪里分配这些资源

3. 为什么多分配了这些资源以后，性能会得到提升？

1. executor、cpu per executor、memory per executor、driver memory

2. 在生产环境中，提交spark作业，用的spark-submit shell脚本，里面调整对应的参数

/usr/local/spark/bin/spark-submit\\

\--class cn.spark.sparktest.core.WordCountCluster\\

\--num-executor 3\\   /**/配置executor的数量**

\--driver-memory 100m\\  **配置driver的内存**

\--executor-memory 100m\\ **配置每个executor的内存大小**

\--executor-cores 3\\  **配置每个executor的cpu core数量**

/usr/local/SparkTest.jar\\

3. 调节多大，算最优

第一种，如果使用的是Spark Standalone这种模式，公司集群上，搭建了一套Spark集群，你心里应该清楚每台机器还能够给你使用的，大概有多少内存，多少cpu core，那么设置的时候，就根据这个实际的情况，去调节每个spark作业的资源分配，比如你的每台机器能够给你使用4G内存，2个cpu Core ；20台机器，如果你同一时间只用一个spark作业

那么你就可以分配20个executor,4G内存，2个cpu core

第二种，基于yarn集群，资源队列，资源调度。应该去查看，你的spark作业，要提交到资源队列，大概有多少资源？500G内存，100个cpucore;executor 50个，平均下来，每个executor10G内存，2个cpucore。

一个原则，能使用的资源有多大，那么你去调节到最大的数量（executor数量，几十个到几百个不等，executor内存，executorcpu core）

为什么我们要给executor更多的资源

增加executor：如果executor数量比较少，那么，能够并行执行的task数量就比较少，就意味着，我们的Application的并行执行的能力很弱

比如有3个executor,每个executor有俩个cpu core，那么同时能够并行执行的task,就是6个，6个执行完以后，再换下一批6个task

增加了executor数量后，就意味着能够并行执行的task数量就变多了，

增加每个executor的cpu core也是增加了task执行的并行能力

增加每个executor的内存量，增加了内存量对性能的提升大致俩点：

第一点：如果需要对RDD进行cache,那么更多的内存就可以缓存更多的数据，将更少的数据写入磁盘，甚至不写入磁盘

第二点：对于task的执行，可能会创建很多对象，如果内存比较小，可能会造成频繁的导致JVM堆内存满，然后GC

minor GC 和 full GC 内存加大后，带来更少的GC,垃圾回收，避免速度变慢

第三点：对于shuffle操作，reduce端会需要内存来存放数据，并进行聚合，如果内存不够，也会写入磁盘，如果给executor分配更多的内存后，就有更少的数据写入磁盘，甚至不用写入磁盘。提高速度

发表评论取消回复

表情：

评论列表（有 0 条评论，168人围观）

还没有评论，来说两句吧...

相关阅读

相关 SPARK调优之资源分配

![1572881-20190811093646366-256531148.png][] 分配更多资源：性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升，是显而易

╰半橙微兮°/ 2023年08月17日 15:19/ 0 赞/ 155 阅读

相关 Ambari spark 开启动态资源分配

这几天研究资源分配的时候踩了不少坑,先做以下总结: 1.修改每台NodeManager上的yarn-site.xml：修改 <property>

青旅半醒/ 2023年06月15日 04:54/ 0 赞/ 8 阅读

相关 Spark性能优化：资源调优篇

[Spark性能优化：资源调优篇][Spark] 在开发完[Spark][Spark 1]作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以

ゝ一纸荒年。/ 2022年10月01日 00:54/ 0 赞/ 246 阅读

相关 Spark性能优化之资源调优

Spark性能优化之资源调优以下内容源自美团网Spark工程师总结的关于Spark性能优化的方案中的部分内容。调优概述在开发完Spark作业之后，就该为作业

曾经终败给现在/ 2022年06月06日 01:41/ 0 赞/ 401 阅读

相关 Spark性能优化：资源调优篇

[Spark性能优化：资源调优篇][Spark] [ ][Link 1]原文地址：[https://www.iteblog.com/archives/1659.html]

深藏阁楼爱情的钟/ 2022年06月01日 04:13/ 0 赞/ 278 阅读

相关 Spark性能优化 Shuffle性能优化

转载 http://blog.sina.com.cn/s/blog\_9ca9623b0102w8qi.html Spark性能优化 Shuffle性能优化一：Shuff

约定不等于承诺〃/ 2022年05月24日 02:42/ 0 赞/ 483 阅读

相关 Spark性能优化：资源调优篇

http://tech.meituan.com/spark-tuning-basic.html (美团技术点评团队) 在开发完Spark作业之后，就该为作业配

Dear 丶/ 2022年05月24日 01:52/ 0 赞/ 275 阅读

相关 spark性能优化，分配更多的资源

其实性能优化的王道，就是增加更多的资源 1. 分配哪些资源 2. 在哪里分配这些资源 3. 为什么多分配了这些资源以后，性能会得到提升？ 1. execut

Love The Way You Lie/ 2022年05月20日 09:12/ 0 赞/ 169 阅读

相关 Spark性能优化：资源调优篇

前言在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知

àì夳堔傛蜴生んèń/ 2022年04月08日 08:50/ 0 赞/ 372 阅读

相关 Spark性能优化——性能优化的重要性

由于Spark的计算本质是基于内存的，所以Spark性能程序的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者是内存。如果内存能够容纳得下所有的数据，那么网络传输和

￡神魔★判官ぃ/ 2021年09月14日 04:40/ 0 赞/ 650 阅读