一、Spark性能调优——最优资源配置

绝地灬酷狼 2023-06-06 03:52 2阅读 0赞

Spark 性能调优的第一步，就是**为任务分配更多的资源， 在一定范围内，增加资源的分配与性能的提升是成正比的，** 实现了最优的资源配置后， 在此基础上再考虑进行后面论述的性能调优策略。

资源的分配在使用脚本提交 Spark 任务时进行指定， 标准的 Spark 任务提交脚本：

/usr/opt/modules/spark/bin/spark-submit \
    --class com.atguigu.spark.Analysis \
    --num-executors 80 \
    --driver-memory 6g \
    --executor-memory 6g \
    --executor-cores 3 \
    /usr/opt/modules/spark/jar/spark.jar \

可以进行分配的资源如表

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70][]

**调节原则： 尽量将任务分配的资源调节到可以使用的资源的最大限度。**

对于具体资源的分配，我们分别讨论 Spark 的两种 Cluster 运行模式：

第一种是 Spark Standalone 模式，你在提交任务前，一定知道或者可以从运维部门获取到你可以使用的资源情况，在编写 submit 脚本的时候，就根据可用的资源情况进行资源的分配，比如说集群有 15 台机器，每台机器为 8G 内存， 2 个 CPU core，那么就指定 15 个 Executor， 每个 Executor 分配 8G 内存， 2 个 CPU core。

第二种是 Spark Yarn 模式， 由于 Yarn 使用资源队列进行资源的分配和调度，在表写 submit 脚本的时候，就根据 Spark 作业要提交到的资源队列， 进行资源的分配，比如资源队列有 400G 内存， 100 个 CPU core，那么指定 50 个 Executor，每个 Executor分配 8G 内存， 2 个 CPU core。

<table> 
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>解析</td> 
  </tr> 
  <tr> 
   <td>增加 Executor·个数</td> 
   <td>在资源允许的情况下，增加 Executor的个数可以提高执行 task 的并行度。 比如有 4 个 Executor，每个 Executor 有 2个 CPU core，那么可以并行执行 8 个 task，如果将 Executor 的个数增加到 8 个（资源允许的情况下）， 那么可以并行执行16 个 task，此时的并行能力提升了一倍。</td> 
  </tr> 
  <tr> 
   <td>增加每个 Executor 的 CPU core 个数</td> 
   <td>在 资 源 允 许 的 情 况 下 ， 增 加 每 个Executor 的 Cpu core 个数，可以提高执行task 的并行度。 比如有 4 个Executor，每个 Executor 有 2 个 CPU core，那么可以并行执行 8 个 task，如果将每个 Executor的 CPU core 个数增加到 4 个（资源允许的情况下）， 那么可以并行执行 16 个 task，此时的并行能力提升了一倍。</td> 
  </tr> 
  <tr> 
   <td>增加每个 Executor 的内存量</td> 
   <td> <p>在 资 源 允 许 的 情 况 下 ， 增 加 每 个Executor 的内存量以后，对性能的提升有三点：<br> 1. 可以缓存更多的数据（即对 RDD 进行 cache） ，写入磁盘的数据相应减少，</p> <p>甚至可以不写入磁盘，减少了可能的磁盘 IO；<br> 2. 可以为 shuffle 操作提供更多内存，即有更多空间来存放 reduce 端拉取的数据，写入磁盘的数据相应减少，甚至可以不写入磁盘，减少了可能的磁盘IO；<br> 3. 可以为 task 的执行提供更多内存，在task 的 执 行 过 程 中 可 能 创 建 很 多 对象，内存较小时会引发频繁的 GC，增加内存后，可以避免频繁的 GC，提升整体性能。</p> </td> 
  </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70]: /images/20230601/00ddc4e8f7e24079a67d05f0775e67c5.png