Spark on yarn的内存分配问题

电玩女神 2022-06-04 01:50 179阅读 0赞

### 问题描述   在测试spark on yarn时，发现一些内存分配上的问题，具体如下。      在$SPARK\_HOME/conf/spark-env.sh中配置如下参数：      SPARK\_EXECUTOR\_INSTANCES=4 在yarn集群中启动的executor进程数      SPARK\_EXECUTOR\_MEMORY=2G 为每个executor进程分配的内存大小      SPARK\_DRIVER\_MEMORY=1G 为spark-driver进程分配的内存大小      执行$SPARK\_HOME/bin/spark-sql –master yarn，按yarn-client模式启动spark-sql交互命令行（即driver程序运行在本地，而非yarn的container中），日志显示的关于AppMaster和Executor的内存信息如下：                  日志显示，AppMaster的内存是896MB，其中包含了384MB的memoryOverhead；启动了5个executor，第一个的可用内存是530.3MB，其余每个Executor的可用内存是1060.3MB。      到yarnUI看下资源使用情况，共启动了5个container，占用内存13G，其中一台NodeManager启动了2个container，占用内存4G（1个AppMaster占1G、另一个占3G），另外3台各启了1个container，每个占用3G内存。            再到sparkUI看下executors的情况，这里有5个executor，其中driver是运行在执行spark-sql命令的本地服务器上，另外4个是运行在yarn集群中。Driver的可用storage memory为530.3MB，另外4个都是1060.3MB（与日志信息一致）。            那么问题来了：      1. Yarn为container分配的最小内存由yarn.scheduler.minimum-allocation-mb参数决定，默认是1G，从yarnUI中看确实如此，可为何spark的日志里显示AppMaster的实际内存是896-384=512MB呢？384MB是怎么算出来的？      2. spark配置文件里指定了每个executor的内存为2G，为何日志和sparkUI上显示的是1060.3MB？      3. driver的内存配置为1G，为何sparkUI里显示的是530.3MB呢？      4. 为何yarn中每个container分配的内存是3G，而不是executor需要的2G呢？      问题解析   进过一番调研，发现这里有些概念容易混淆，整理如下，序号对应上面的问题：      1. spark的yarn-client向ResourceManager申请提交作业/启动AppMaster时，会判断是否是集群模式，如果是集群模式，则AppMaster的内存大小与driver内存大小一致，否则由spark.yarn.am.memory决定，这个参数的默认值是512MB。我们使用的是yarn-client模式，所以实际内存是512MB。      384MB是spark-client为appMaster额外申请的内存，计算方法如下：            即，默认从参数读取（集群模式从spark.yarn.driver.memoryOverhead参数读，否则从spark.yarn.am.memoryOverhead参数读），若没配此参数，则从AppMaster的内存\*一定系数和默认最小overhead中取较大值。      在spark-1.4.1版本中，MEMORY\_OVERHEAD\_FACTOR的默认值为0.10（之前是0.07），MEMORY\_OVERHEAD\_MIN默认为384，我们没有指定spark.yarn.driver.memoryOverhead和spark.yarn.am.memoryOverhead，而amMemory=512M（由spark.yarn.am.memory决定），因此memoryOverhead为max(512\*0.10, 384)=384MB。      Executor的memoryOverhead计算方法与此一样，只是不区分是否集群模式，都默认由spark.yarn.executor.memoryOverhead配置。      2. 日志和sparkUI上显示的是executor内部用于缓存计算结果的内存空间，并不是executor所拥有的全部内存。这部分内存是由以下公式计算：            Runtime.getRuntime.maxMemory按2048MB算，storage memory大小为1105.92MB，sparkUI显示的略小于此值，是正常的。      3. 与上述第2点一样，storage memory的大小略小于1024\*0.9\*0.6=552.96MB      4. 前面提到spark会为container额外申请一部分内存（memoryOverhead），因此，实际为container提交申请的内存大小是2048 + max(2048\*0.10, 384) = 2432MB，而yarn在做资源分配时会做资源规整化，即应用程序申请的资源量一定是最小可申请资源量的整数倍（向上取整），最小可申请内存量由yarn.scheduler.minimum-allocation-mb指定，因此，会为container分配3G内存。      ———————————————————      验证   为了验证上述规则，继续修改配置参数：      SPARK\_EXECUTOR\_INSTANCES=4 在yarn集群中启动的executor进程数      SPARK\_EXECUTOR\_MEMORY=4G 为每个executor进程分配的内存大小      SPARK\_DRIVER\_MEMORY=3G 为spark-driver进程分配的内存大小      并在启动spark-sql时指定spark.yarn.am.memory参数：      bin/spark-sql –master yarn –conf spark.yarn.am.memory=1024m      再看日志信息：                  yarnUI状态：            sparkUI的executors信息：            可见，AppMaster的实际内存为1024M（1408-384），而其在yarn中的container内存大小为2G（1408大于1G，yarn按资源规整化原则为其分配2G）。      同理，driver的storage memory空间为3G\*0.9\*0.6=1.62G，executor的storage memory空间为4G\*0.9\*0.6=2.16G，executor所在container占用5G内存（4096+max(4096\*0.10,384)= 4505.6，大于4G， yarn按资源规整化原则为其分配5G）。      Yarn集群的内存总占用空间为2+5\*4=22G。    ###