CDH内存调拨过度警告分析

蔚落 2022-10-30 15:27 399阅读 0赞

参考文章：[CDH内存调拨过度警告分析][CDH]

**目录**

1.问题描述

2.问题分析

3.问题解决

1.available\_memory\_for\_hadoop内存计算方式，需要为操作系统和非Hadoop进程预留一定比例的系统内存

2.计算主机上所有Java Heap并乘以1.3来作为JRE内存开销

3.通过第2步找到该节点上所有角色内存配置如下

4.总结

--------------------

# 1.问题描述 #

--------------------

Hadoop应用程序或者Yarn的作业随机的出现OutOfMemory(OOM)，在Cloudera Manager界面显示如下警告：

ip-172-31-24-169.ap-southeast-1.compute.internal: Memory Overcommit Validation Threshold Suppress...
    Memory on host ip-172-31-24-169.ap-southeast-1.compute.internal is overcommitted. The total memory allocation is 16.5 GiB bytes but there are only 15.3 GiB bytes of RAM (3.1 GiB bytes of which are reserved for the system). Visit the Resources tab on the Host page for allocation details. Reconfigure the roles on the host to lower the overall memory allocation. Note: Java maximum heap sizes are multiplied by 1.3 to approximate JVM overhead.

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70][]

# 2.问题分析 #

--------------------

Cloudera Manager5会针对每台主机计算CDH和Cloudera Management Services使用的内存总量的最大内存提交量。如果它计算的内存过度提交，则会显示该告警。

>  *  该计算方式是对可以使用的最大内存量的估算，并作为指导，以避免内存过度分配，并主动防御系统主机OutOfMemory。
>  *  对于运行Cloudera Manager4或未运行Cloudera Manager的群集需要手动完成。

# 3.问题解决 #

--------------------

检查每个主机内存过度提交的计算方式如下：

commit = available_memory_for_hadoop - total_hadoop_java_heap - impala_memory
    if (total_system_memory * 0.8) < ( sum(java_heap_of_processes) * 1.3 + impala_memory) then flag over-committed

这里我们使用集群的一个节点(ip-172-31-24-169.ap-southeast-1.compute.internal)来做说明，讲解内存调拨过度的计算方式，该节点的总内存约为：15.3GB

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 1][]

### 1.available\_memory\_for\_hadoop内存计算方式，需要为操作系统和非Hadoop进程预留一定比例的系统内存 ###

available_memory_for_hadoop = (total_system_memory * 0.8)

> “0.8”值是Cloudera Manager中的默认值，需要根据具体主机的环境进行调整。
> 
> 对于具有16G内存的主机，预留20%的操作系统内存（3.2G）可能还不够。
> 
> 对于具有256G内存的主机，预留20%的操作系统内存（51.2G）可能太多了。

**进入主机列表界面**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 2][]

**点击“配置”，搜索“Memory Overcommit Validation Threshold”或“内存调拨过度验证阈值”**

![20210220110632494.png][]

**修改相应数据，保存配置，无需要重启。**

该节点默认配置的可以内存阈值为0.8，所以该节点需要预留3.1GB的内存给操作系统：

available_memory_for_os = (15.3GB * (1-0.8)) 约为3.1GB

### 2.计算主机上所有Java Heap并乘以1.3来作为JRE内存开销 ###

total_hadoop_java_heap = sum ( hadoop_java_heaps ) * 1.3

**确定主机上运行的角色**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 3][]

在Cloudera Manager中查找每个角色的Java Heap大小，例操作如下：

>  *  这里以[HBase][]为,进入HBase服务页面点击“配置”，搜索“Java 堆栈大小（字节）”或者“Java Heap Size of HBase \* in Bytes”

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 4][]

>  当前这个节点的Java角色只有“Master”和“RegionServer”，所以该节点的HBase占用内存为(1GB + 1GB) \* 1.3

*  DataNode角色的Java Heap大小为

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 5][]

*  NodeManager角色的Java Heap大小为

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 6][]

*  Zookeeper角色的Java Heap大小为

进入Zookeeper服务，点击“配置”搜“Java Heap Size of in Bytes”

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 7][]

*  该节点上有DataNode角色，需要进行如下内存计算

进入HDFS服务页面，点击“配置”搜“dfs.datanode.max.locked.memory”

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 8][]

*  该节点有NodeManager角色，需要进行如下内存计算

进入YARN服务页面，点击“配置”搜“yarn.nodemanager.resource.memory-mb”

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 9][]

*   该节点有Impala Daemon角色，角色使用内存为

进入Impala服务，点击“配置”或“Configuration”，搜索“mem\_limit”

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 10][]

*  该节点有Kudu Tablet Server角色，角色使用内存为

进入Kudu服务，点击“配置”或“Configuration”搜索“memory\_limit”

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 11][]

### **3.通过第2步找到该节点上所有角色内存配置如下** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 12][]

接下来计算该节点Hadoop服务可用内存大小

total_hadoop_java_heap= (1GB + 1GB + 1GB + 1GB +1GB) * 1.3

计算得出总共使用的total\_Hadoop\_java\_heap大小为6.5GB

该节点上所有角色使用的内存总和为：16.5GB

total_memory_use= total_hadoop_java_heap + 3GB + 3GB + 3GB + 1GB

通过以上的计算方式得出，该节点所有角色使用的总内存为16.5GB，但操作系统总内存为15.3GB（其中有3.1GB留给操作系统），该计算结果与Cloudera Manager界面警告一致。

# 4.总结 #

>  *  如果节点的内存调拨过度，可能会导致Hadoop应用和Yarn的作业随机出现OutOfMemory异常，需要根据集群节点角色的内存分配情况进行调整
>  *  在设置“Memory Overcommit Validation Threshold”该参数时需要根据主机节点内存的真实情况进行合理设置，否则会造成内存浪费或系统内存不足。
>  *  在计算节点内存使用情况时，只有Java Heap的内存需要乘以1.3，其它内存则根据实际配置计算即可，这里的1.3是对Hadoop的累积经验，是一种“经验法则”。

[CDH]: https://cloud.tencent.com/developer/article/1078935
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70]: /images/20221024/42e505ebbbde41f89b7a6efd75659f7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 1]: /images/20221024/6f9577ca01464c13b60b0b5b60b16c02.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 2]: /images/20221024/2a95aa14805f4782810a104fa7155dce.png
[20210220110632494.png]: /images/20221024/44d792bf0a304defa7a1fb546be0b863.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 3]: /images/20221024/250120c5566d414dae9d6cd4b940ef1d.png
[HBase]: https://cloud.tencent.com/product/hbase?from=10680
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 4]: /images/20221024/079a19f237414d129c8c43b4d4283589.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 5]: /images/20221024/e069275dc7f1474f8d17fff9bb12d780.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 6]: /images/20221024/d6f7e5d1589e4052ac1945706edacb4a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 7]: /images/20221024/e5cfac6c3f814e4f9031c36201892143.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 8]: /images/20221024/ab555b4b4a024021b064a1065a2f23d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 9]: /images/20221024/501ee6e0841647ce9f0b1187be786826.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 10]: /images/20221024/0490a724224a42f1b15f0f85461f82e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 11]: /images/20221024/e31373d34bf44d018cb96a90e759d6d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3RscGY_size_16_color_FFFFFF_t_70 12]: /images/20221024/0f88cd6c226145718750a890dfe958c2.png