spark通过降低cores数量来提高成功率，错误记录之memory limit

约定不等于承诺〃 2022-12-10 01:24 222阅读 0赞

# 错误复现 #

当数据量达到几百G约一亿条进行计算时，在原本的资源分配条件下失败的几率很高，失败的错误基本如下

Container killed by YARN for exceeding memory limits. 16.9 GB of 16 GB physical memory
    used. Consider boosting spark.yarn.executor.memoryOverhead

通常来讲，我们设计资源分配时一般指调整这几个参数：

set spark.executor.instances=8;
    set spark.executor.cores=8;
    set spark.executor.memory=8g;

我尝试过加大内存，但是有时候能成功，有时候依然失败，而且失败时提示的内存占用越来越高。

# 解决问题 #

首先我们知道问题一定是当前分配的资源不足以执行我们写的脚本或者SQL，这时候问题是有两个方面，一个是资源不足，一个是脚本或SQL不够优。

但是。。。。SQL已经到了我力所能及的最大优化程度，这个时候我们还是从资源角度去入手吧。

刚才提到加大内存是不一定行的，于是去学习了一个小时hiveONspark的内存模型和各个函数的内存使用情况后发现了一个事情：

set spark.executor.memoryOverhead;

没错就是堆外内存，了解到get\_json\_object这个json解析函数主要使用的是堆外内存后，是不是问题出在这里，于是调整了堆外内存，将默认的1G变成4G来执行时，成功率提高些，但是依然报错，尝试再调高到8G也没有明显变化

set spark.executor.cores=4;

于是 另一种解决办法，减少cores的数量，因为cores的数量决定任务同一时间执行的task的数量，减少core就相当于减少了同时执行的task的数量，这样会让内存占用也同步减少，但是会更加耗时。

由于是离线任务也不差这一时半会儿，所以减少core的数量倒是也能够接受，在减少core为4个之后，任务跑起来虽然慢了些，大概比以前慢了近一倍，但是是百分百成功的。

# 总结一下 #

解决memory limit的思路：

1.  增加内存，spark.executor.memory;和spark.executor.memoryOverhead; 堆内外都要增加
2.  降低core的数量，使得同时处理的数据量变少，内存的消耗也相应减少些。

发表评论取消回复

表情：

评论列表（有 0 条评论，222人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark-Core

-------------------- [Spark简介][Spark] [Spark-Core核心算子][Spark-Core] [Spark-Core][Spa

雨点打透心脏的1/2处/ 2024年02月21日 11:50/ 0 赞/ 55 阅读

相关 Spark任务的core，executor，memory资源配置方法

Spark任务的core，executor，memory资源配置方法 1、背景执行Spark任务，资源分配是很重要的一方面。如果配置不准确，Spark任务将耗费整个集

待我称王封你为后i/ 2023年01月13日 08:54/ 0 赞/ 206 阅读

相关 spark sql 之 limit

limit执行的不是action操作。 show/head一类的是action操作。 -------------------- Spark limit改进在执行一

清疚/ 2022年12月13日 04:18/ 0 赞/ 362 阅读

相关 spark通过降低cores数量来提高成功率，错误记录之memory limit

错误复现当数据量达到几百G约一亿条进行计算时，在原本的资源分配条件下失败的几率很高，失败的错误基本如下 Container killed by YARN fo

约定不等于承诺〃/ 2022年12月10日 01:24/ 0 赞/ 223 阅读

相关 MySQL 提高 limit 查询速度

原来的sql分页查询语句 select from table order by id desc limit 1000000,10; 第一种方式 sele

蔚落/ 2022年11月20日 01:55/ 0 赞/ 214 阅读

相关 linux core limit,Linux - "Package Power limit" and "Core power limit" notifications.

Article Summary: This article provides information on Linux - "Package Power limit" and

- 日理万妓/ 2022年10月15日 15:59/ 0 赞/ 113 阅读

相关 Spark Core Aggregator

Spark Core Aggregator 本文要介绍的是Spark Core中的Aggregator这个类。这个类的用处非常大，为什么这么说呢？我们都知道Spark支持

秒速五厘米/ 2022年06月11日 03:46/ 0 赞/ 127 阅读

相关通过ldd,mn,gdb和core来定位so库错误信息

ldd命令可以查看so库的依赖是否正确： ldd \.so ![20190417200011483.png][] nm命令可以查看so中使用，未定义等状态的函数和变量：

左手的ㄟ右手/ 2022年02月18日 16:23/ 0 赞/ 216 阅读

相关怎么提高面试成功率？

> 这篇原创是我之前写的，这些天Boss直聘一直有公司联系我，包括比较喜欢的小米，但我对未来两年有规划，所以都否掉了。回顾这篇文章写的还不错，希望能帮助正在求职的朋友们。

Dear 丶/ 2022年01月20日 02:35/ 0 赞/ 206 阅读

相关 Spark 内存管理 spark.executor.memory /spark.memory.fraction/spark.memory.offHeap.size【堆外内存/内存管理】钨丝计划

spark1.6及之后：堆内内存： spark.executor.memory 包含 spark.memory.fraction； spark.memory.f

ゞ浴缸里的玫瑰/ 2021年09月25日 01:28/ 0 赞/ 409 阅读