spark-submit提交到yarn上常见错误

一时失言乱红尘 2022-03-22 15:56 287阅读 0赞

#!/bin/bash
    systime=`date -d "-24 hour" +%Y%m-%d-%H-%M`
    ym=`echo ${systime} | awk -F '-' '{print $1}'`
    d=`echo ${systime} | awk -F '-' '{print $2}'`
    h=`echo ${systime} | awk -F '-' '{print $3}'`
    syst_print=`date`
    echo ------------------------ $syst_print ------------------------------ >> /data/module/testcxb/rec_match.log
    
    nohup /home/modules/spark-2.1.1/bin/spark-submit --master yarn --deploy-mode cluster --class com.emg.rec_match.RecMatch --name match --driver-memory 2G --executor-memory 7G --executor-cores 2 --num-executors 15 /data/module/testcxb/rec_match-1.0-SNAPSHOT.jar ${ym}/${d}

修改为yarn模式可能会出现内存不够的问题

19/01/24 10:03:00 INFO yarn.Client: Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container)
    Exception in thread "main" java.lang.IllegalArgumentException: Required executor memory (9216+921 MB) is above the max threshold (8192 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.

是因为默认executor-memory的内存为8G  需要在yarn-site.xml中添加（具体参数看机器内存）

<property>
      		<name>yarn.nodemanager.resource.memory-mb</name>
      		<value>24576</value>
    	</property>

发表评论取消回复

表情：

评论列表（有 0 条评论，287人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink集群部署到YARN上的提交流程

第一步:Flink任务提交后，Client向HDFS上传Flink的Jar包和配置第二步:之后向Yarn ResourceManager提交任务，ResourceMana...

桃扇骨/ 2024年04月28日 13:03/ 0 赞/ 68 阅读

相关 Flink1.11 脚本提交任务yarn以及java代码提交任务到yarn执行实践

1,我们先看官网，一起从官网看起 [https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/d

矫情吗；*/ 2022年12月05日 12:21/ 0 赞/ 673 阅读

相关 Flink通过flink-yarn远程提交任务到yarn集群

public void crateStreamTaskByFlinkClient() { //flink的本地配置目录，为了得到flink的配置

港控/mmm°/ 2022年09月14日 01:47/ 0 赞/ 529 阅读

相关正确提交spark到yarn的demo

通过Spark-submit在xshell提交命令行，如果集群配置了keberos的话需要在打包的jar中进行认证，认证文件上传到节点并且需要分发到每一个节点，节点之间

港控/mmm°/ 2022年05月24日 06:21/ 0 赞/ 241 阅读

相关 Flink on yarn 常见错误

1 Retrying connect to server 2 Unable to get ClusterClient status from Application

向右看齐/ 2022年05月24日 03:26/ 0 赞/ 981 阅读

相关 Spark Yarn 提交作业

初学Spark时，部署的是Standalone模式（集成了HA），写的测试程序一般创建上下文时如下： ![70][] 此处master设置为管理节点的集群地址（spark

客官°小女子只卖身不卖艺/ 2022年05月14日 01:26/ 0 赞/ 232 阅读

相关 spark-submit提交到yarn上常见错误

!/bin/bash systime=`date -d "-24 hour" +%Y%m-%d-%H-%M` ym=`echo ${systime} |

一时失言乱红尘/ 2022年03月22日 15:56/ 0 赞/ 288 阅读

相关 Flink Yarn 作业提交

1、下载测试文件 wget -O LICENSE-2.0.txt http://www.apache.org/licenses/LICENSE-2.0.txt 2、

心已赠人/ 2022年03月18日 08:28/ 0 赞/ 396 阅读

相关用户提交任务到yarn报错

用户提交任务到yarn时有可能遇到下面的错误： 1） > Requested user anything is not whitelisted and has id 980

旧城等待，/ 2022年01月30日 14:29/ 0 赞/ 242 阅读

相关 git 提交代码到github上

1 通过git clone xxx.@git 将代码down到本地 2 当你修改或者添加文件的时候 3 首先使用git status 查看文件状态， 4 然后使用gi

清疚/ 2021年06月11日 15:10/ 0 赞/ 473 阅读