spark-submit上传jar包时间较长的解决

ゝ一纸荒年。 2022-01-30 23:37 297阅读 0赞

# 出现的场景： #

在spark-submit提交Spark作业时，发现上传Spark依赖到hdfs时间长达数分钟。

这个日志之后在上传程序依赖的jar，根据不同网络负荷，需要耗时数十秒甚至数分钟，导致任务提交速度超级慢，在官网上查到出现这种现象的原因：[https://spark.apache.org/docs/2.1.1/running-on-yarn.html][https_spark.apache.org_docs_2.1.1_running-on-yarn.html]

其中有这么一句话：

To make Spark runtime jars accessible from YARN side, you can specify `spark.yarn.archive` or `spark.yarn.jars`. For details please refer to [Spark Properties][]. If neither `spark.yarn.archive` nor `spark.yarn.jars` is specified, Spark will create a zip file with all jars under `$SPARK_HOME/jars`and upload it to the distributed cache.

翻译过来就是：

要想在yarn spark的runtime jars，需要指定spark.yarn.archive 或者 spark.yarn.jars。如果都这两个参数都没有指定，spark就会把$SPARK\_HOME/jars/所有的jar上传到分布式缓存中。

# 解决办法：     #

1. 将$SPARK_HOME/jars/* 下spark运行依赖的jar上传到hdfs上
    hdfs dfs -mkdir /tmp/spark/lib_jars
    hadoop fs -put $SPARK_HOME/jars/* hdfs:///tmp/spark/lib_jars
    
    2. 在$SPARK_HOME/conf/spark-defaults.conf中， 增加如下信息：
    spark.yarn.jars hdfs:///tmp/spark/lib_jars/*.jar

[https_spark.apache.org_docs_2.1.1_running-on-yarn.html]: https://spark.apache.org/docs/2.1.1/running-on-yarn.html
[Spark Properties]: https://spark.apache.org/docs/2.1.1/running-on-yarn.html#spark-properties

发表评论取消回复

表情：

评论列表（有 0 条评论，297人围观）

还没有评论，来说两句吧...

相关阅读

相关 springboot 打包分离依赖jar包减少上传时间提高部署效率

修改pom增加maven插件与build配置 <build> <finalName>${project.artifactId}</finalName>

男娘i/ 2023年01月14日 10:00/ 0 赞/ 100 阅读

相关上传jar包到私服的方式

上传jar包到私服的方式手动上传第三方jar包到nexus的步奏： 1）按下图方式进行 ![SouthEast][] 2）按下图完成上传 3）点击保存完成

妖狐艹你老母/ 2023年01月09日 15:56/ 0 赞/ 1271 阅读

相关 nexus 上传jar包怎么不生效

一、依赖写错，可以去nexus里查看依赖的坐标： ![这里写图片描述][SouthEast] 二、之前maven私服下载不到jar包的时候有一些碎片文件，进入maven本

喜欢ヅ旅行/ 2022年06月03日 10:10/ 0 赞/ 658 阅读

相关文件上传（不使用Jar包）

原文连接：[http://blog.csdn.net/qilin001cs/article/details/50274773][http_blog.csdn.net_qilin

矫情吗；*/ 2022年05月29日 10:15/ 0 赞/ 200 阅读

相关 spark-submit时上传spark依赖到hdfs时间较长问题解决

spark-submit时，发现上传spark依赖到hdfs 时间长达数分钟，现象如下方截图： ![image2018-12-21_17-31-50.png_version_

冷不防/ 2022年04月03日 13:50/ 0 赞/ 294 阅读

相关 Maven 私服上下载jar包和上传jar包到私服

> 一、Nexus > > 执行nexus uninstall命令，卸载。执行nexus.bat start命令，启动 > > 1. Nexus 是Ma

灰太狼/ 2022年04月03日 11:57/ 0 赞/ 367 阅读

相关上传jar包到私服

1、下载jar包。`kettle-core-7.1.0.0-12.jar` 2、在pom文件中引用 <dependency> <groupId>p

超、凢脫俗/ 2022年02月03日 10:17/ 0 赞/ 307 阅读

相关 spark-submit上传jar包时间较长的解决

出现的场景：在spark-submit提交Spark作业时，发现上传Spark依赖到hdfs时间长达数分钟。这个日志之后在上传程序依赖的jar，根据不同网络负荷，需

ゝ一纸荒年。/ 2022年01月30日 23:37/ 0 赞/ 298 阅读

相关 maven私服上传jar包

maven私服上传jar包登录maven私服上传jar 登录maven私服 ![watermark_type_ZmFuZ3poZW5

古城微笑少年丶/ 2022年01月22日 12:19/ 0 赞/ 353 阅读

相关上传jar包到本地maven仓库

命令： mvn install:install-file -DgroupId=org.hyperic -DartifactId=sigar -Dversion=1.6.4...

小灰灰/ 2020年11月15日 14:26/ 0 赞/ 805 阅读