详解 YARN的内存和CPU配置

以你之姓@ 2024-02-19 20:01 9阅读 0赞

## 一：简单介绍 ##

Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。

YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。

在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个container使用一块磁盘以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。

## 二： 内存配置 ##

关于 内存 相关的配置可以参考hortonwork公司的文档 Determine HDP Memory Configuration Settings 来配置你的集群。

YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存=系统内存+HBASE内存。

可以参考下面的表格确定应该保留的内存：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]  
计算每台机子最多可以拥有多少个container，可以使用下面的公式:

containers = min (2*CORES, 1.8*DISKS, (Total available RAM) / MIN\_CONTAINER\_SIZE)

说明：

CORES 为机器CPU核数  
DISKS 为机器上挂载的磁盘个数  
Total available RAM 为机器总内存  
MIN\_CONTAINER\_SIZE 是指container最小的容量大小，这需要根据具体情况去设置，可以参考下面的表格：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 1]  
**每个container的平均使用内存大小计算方式为：  
RAM-per-container = max(MIN\_CONTAINER\_SIZE, (Total Available RAM) / containers))**

通过上面的计算，YARN以及MAPREDUCE可以这样配置：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 2]

## 三：举个例子： ##

对于128G内存、32核CPU的机器，挂载了7个磁盘，根据上面的说明，系统保留内存为24G，不适应HBase情况下，系统剩余可用内存为104G，计算containers值如下：

containers = min (2*32, 1.8* 7 , (128-24)/2) = min (64, 12.6 , 51) = 13

计算RAM-per-container值如下：

RAM-per-container = max (2, (124-24)/13) = max (2, 8) = 8

这样集群中下面的参数配置值如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 3]  
**你也可以使用脚本 [yarn-utils.py][] 来计算上面的值：**

python yarn-utils.py -c 32 -m 128 -d 7 -k False

返回结果如下：

Using cores=32 memory=128GB disks=7 hbase=False
     Profile: cores=32 memory=106496MB reserved=24GB usableMem=104GB disks=7
     Num Container=13
     Container Ram=8192MB
     Used Ram=104GB
     Unused Ram=24GB
     yarn.scheduler.minimum-allocation-mb=8192
     yarn.scheduler.maximum-allocation-mb=106496
     yarn.nodemanager.resource.memory-mb=106496
     mapreduce.map.memory.mb=8192
     mapreduce.map.java.opts=-Xmx6553m
     mapreduce.reduce.memory.mb=8192
     mapreduce.reduce.java.opts=-Xmx6553m
     yarn.app.mapreduce.am.resource.mb=8192
     yarn.app.mapreduce.am.command-opts=-Xmx6553m
     mapreduce.task.io.sort.mb=3276

**对应的xml配置为：**

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>106496</value>
      </property>
      <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>8192</value>
      </property>
      <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>106496</value>
      </property>
      <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>8192</value>
      </property>
      <property>
        <name>yarn.app.mapreduce.am.command-opts</name>
        <value>-Xmx6553m</value>
      </property>

**另外，还有一下几个参数：**

yarn.nodemanager.vmem-pmem-ratio ：任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。  
yarn.nodemanager.pmem-check-enabled ：是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。  
yarn.nodemanager.vmem-pmem-ratio ：是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。  
第一个参数的意思是当一个map任务总共分配的物理内存为8G的时候，该任务的container最多内分配的堆内存为6.4G，可以分配的虚拟内存上限为8\*2.1=16.8G。另外，照这样算下去，每个节点上YARN可以启动的Map数为104/8=13个，似乎偏少了，这主要是和我们挂载的磁盘数太少了有关，人为的调整 RAM-per-container 的值为4G或者更小的一个值是否更合理呢？当然，这个要监控集群实际运行情况来决定了。

## 四：CPU配置 ##

YARN中目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。

**在YARN中，CPU相关配置参数如下：**

yarn.nodemanager.resource.cpu-vcores ：表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。  
yarn.scheduler.minimum-allocation-vcores ：单个任务可申请的最小虚拟CPU个数，默认是1，如果一个任务申请的CPU个数少于该数，则该对应的值改为这个数。  
yarn.scheduler.maximum-allocation-vcores ：单个任务可申请的最多虚拟CPU个数，默认是32。  
对于一个CPU核数较多的集群来说，上面的默认配置显然是不合适的，在我的测试集群中，4个节点每个机器CPU核数为32，可以配置为：

<property>
      <name>yarn.nodemanager.resource.cpu-vcores</name>
      <value>32</value>
      </property>
      <property>
      <name>yarn.scheduler.maximum-allocation-vcores</name>
      <value>128</value>
      </property>

## 五：总结 ##

根据上面的说明，我的测试集群中集群节点指标如下：

每个节点分配的物理内存、虚拟内存和CPU核数如下：

实际生产环境中，可能不会像上面那样设置，比如不会把所有节点的CPU核数都分配给Spark，需要保留一个核留给系统使用；另外，内存上限也会做些设置。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/cf040eb9bd5f4a8eb6a448fad0e1cac3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/eaa157727c52409a9f2d339aeb5f6295.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/dec4ad4626424b00986e794ff12037a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/428a21d3c612425c99236934ea900265.png
[yarn-utils.py]: http://yarn-utils.py