Spark系列--Spark On YARN 动态资源

àì夳堔傛蜴生んèń 2022-05-18 10:57 252阅读 0赞

## 一、Spark On YARN 动态资源 ##

利用Spark的动态资源机制可以增加队列的利用率，减少空置，占用的无效使用。

**原理：**

考虑如下场景：

在Spark On YARN的运行机制下，有一个Application申请了50个executor 每个20G memory，10 个core，Applicaiton有10个job，每个job1个stage。

假设其中一个Job只有一个task并且需要运行50分钟，这时Spark将只使用一个exceutor进行处理, 剩余的49个executor 将空闲50分钟，相当于什么都没做。

打开这个功能后将自动释放这49个executor , 后续stage如果需要资源Spark将再次向YARN申请。

**使用时增加如下参数即可:**

<table> 
 <thead> 
  <tr> 
   <th>参数名称</th> 
   <th align="center">默认值</th> 
   <th align="right">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>spark.dynamicAllocation.enabled</td> 
   <td align="center">false</td> 
   <td align="right">是否使用动态资源分配，根据工作负载对应用程序executor进行扩展</td> 
  </tr> 
  <tr> 
   <td>spark.dynamicAllocation.executorIdleTimeout</td> 
   <td align="center">60s</td> 
   <td align="right">如果启用了动态分配并且executor已经空闲超过这个时间，executor将被释放</td> 
  </tr> 
  <tr> 
   <td>spark.dynamicAllocation.cachedExecutorIdleTimeout</td> 
   <td align="center">infinity</td> 
   <td align="right">如果启用了动态分配，并且缓存数据块的executor已经空闲了超过这个时间，executor将被释放</td> 
  </tr> 
  <tr> 
   <td>spark.dynamicAllocation.initialExecutors</td> 
   <td align="center">spark.dynamicAllocation.enabled</td> 
   <td align="right">如果启用动态分配，则要运行executor的初始数量。如果设置了“–num-executors”（或“spark.executor.instances”）并且大于这个值，则会使用这个值进行初始化。 如： max(initialExecuor = 3, –num-executors = 10) 取最大</td> 
  </tr> 
  <tr> 
   <td>spark.dynamicAllocation.maxExecutors</td> 
   <td align="center">infinity</td> 
   <td align="right">如果启用动态分配，executor的上限个数。必须设置一个数，否则会占用集群所有资源</td> 
  </tr> 
  <tr> 
   <td>spark.dynamicAllocation.minExecutors</td> 
   <td align="center">0</td> 
   <td align="right">如果启用动态分配，executor的下限个数。</td> 
  </tr> 
  <tr> 
   <td>spark.dynamicAllocation.schedulerBacklogTimeout</td> 
   <td align="center">1s</td> 
   <td align="right">如果启用动态分配，超过这个时间后还有未完成的积压任务，将会触发再次请求新的executor</td> 
  </tr> 
 </tbody> 
</table>

例子：

spark-submit \
        --class mainclass \     --master yarn \     --name appname \     --deploy-mode cluster \     --executor-memory 16g \     --executor-cores 6 \     --num-executors 100 \     --driver-memory 16g \     --total-executor-cores 800 \     --conf 'spark.driver.extraJavaOptions=-XX:PermSize=512M' \     --conf 'spark.executor.extraJavaOptions=-verbose:gc -XX:+UseCompressedOops -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSInitiatingOccupancyFraction=60 -XX:PermSize=512M' \     --conf spark.speculation=false \     --conf spark.sql.broadcastTimeout=600 \     --conf spark.sql.shuffle.partitions=800 \     --conf spark.default.parallelism=600 \     --conf spark.memory.fraction=0.8 \     --files $HIVE_CONF_DIR/hive-site.xml \     --conf spark.scheduler.listenerbus.eventqueue.size=100000 \     --conf spark.dynamicAllocation.enabled=true \ #打开动态资源     --conf spark.dynamicAllocation.minExecutors=1 \ #弹性收缩后最小execturo个数     --conf spark.dynamicAllocation.maxExecutors=100 \ #弹性放大后最大executor个数     --conf spark.dynamicAllocation.executorIdleTimeout=3s \ #当executor空闲多久时释放，这个值根据自己的场景调整     --conf spark.shuffle.service.enabled=true \ #打开动态资源后必须打开shuffle.service. 让shuffle数据与executor解耦。     apps.jar 20171231

更多Spark参数配置，请参考官网：  
[https://spark.apache.org/docs/latest/configuration.html][https_spark.apache.org_docs_latest_configuration.html]

[https_spark.apache.org_docs_latest_configuration.html]: https://spark.apache.org/docs/latest/configuration.html