Spark提交参数说明

Love The Way You Lie 2022-04-01 03:18 286阅读 0赞

*  \--master    master 的地址，提交任务到哪里执行，例如 spark://host:port,  yarn,  local
 *  \--deploy-mode    在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client
 *  \--class   应用程序的主类，仅针对 java 或 scala 应用
 *  \--jars    用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下
 *  \--name   应用程序的名称
 *  \--conf    指定 spark 配置属性的值,例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"
 *  \--driver-memory    Driver内存，默认 1G
 *  \--driver-cores    Driver 的核数，默认是1。在 yarn 或者 standalone 下使用
 *  \--excutor-core    每个 executor 的核数。在yarn或者standalone下使用     
 *  \--excutor-memory   每个 executor 的内存，默认是1G
 *  \--total-excutor-cores   所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
 *  \--driver-class-path    传给 driver 的额外的类路径
 *  \--num-excutors   启动的 executor 数量。默认为2。在 yarn 下使用

资源调度时，

*  Executor在集群中分散启动；
 *  提交Spark任务时如果不指定参数，集群中每个Worker为当前的Application都会启动一个Executor，这个Executor会使用当前节点的所有的core和1G内存；
 *  如果想在一台Worker上启动多个Executor，提交任务要指定--executor-cores
 *  启动executor不仅和core有关，海域Executor有关
 *  提交Appplication要指定--total-executor-cores，否则一个Application会使用集群所有资源；

发表评论取消回复

表情：

评论列表（有 0 条评论，286人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark standalone提交任务参数配置

一共申请6个核不指定每个executor的cores 3个executor \ 2 = 6 cores ![在这里插入图片描述][watermark_type_Zm

ゝ一世哀愁。/ 2023年10月04日 15:38/ 0 赞/ 4 阅读

相关 Spark提交作业参数以及注意事项（高频面试题）

1）在提交任务时的几个重要参数 executor-cores —— 每个executor使用的内核数，默认为1，官方建议2-5个 num-executors —— 启动ex

超、凢脫俗/ 2022年10月13日 12:45/ 0 赞/ 138 阅读

相关 spark - 提交app

应用提交 `spark-submit`命令的作用是在集群上启动应用，它可以通过统一的界面使用所有 Spark 支持的集群管理器，因此您不必特别为每个应用程序配置。绑

逃离我推掉我的手/ 2022年08月31日 15:30/ 0 赞/ 145 阅读

相关本地提交spark,Spark提交无法找到本地文件

![Image 1][] I've written a very simple python script for testing my spark streaming id

叁歲伎倆/ 2022年08月30日 11:16/ 0 赞/ 196 阅读

相关 spark-submit工具参数说明

spark on yarn : job提交重要参数说明 spark-submit \--master yarn-cluster \\使用集群调度模式(一般使用这个参

港控/mmm°/ 2022年07月13日 02:09/ 0 赞/ 137 阅读

相关 Spark -7：提交spark应用程序

Spark的bin目录中的 `spark-submit`脚本用于启动集群上的应用程序。它可以通过统一的接口使用Spark的所有支持的集群管理器，因此您不必为每个集群管理器专门配

系统管理员/ 2022年07月11日 07:36/ 0 赞/ 238 阅读

相关 spark job提交：spark-submit

一般化的参数： spark-submit \ --class a.HelloWord \ --name wordcount \ --mas

悠悠/ 2022年04月17日 00:21/ 0 赞/ 219 阅读

相关 Spark提交参数说明

\--master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local \--deploy-mo

Love The Way You Lie/ 2022年04月01日 03:18/ 0 赞/ 287 阅读

相关 spark-submit 提交任务及参数说明

[spark-submit 提交任务及参数说明][spark-submit] spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop

拼搏现实的明天。/ 2022年03月25日 09:50/ 0 赞/ 393 阅读

相关 spark - spark-submit启动参数说明

启动参数 /bin/spark-submit \--master yarn-cluster \--num-executors 100 \--executor-

川长思鸟来/ 2022年03月11日 09:20/ 0 赞/ 264 阅读