spark 自定义外部配置参数的三种方式

た入场券 2021-11-23 10:54 695阅读 0赞

**前言**  
1、2 方式只能修改spark内置参数，外部自定义参数不支持此方式  
如果传递，将提示

Warning: Ignoring non-spark config property: count.end.time=1564122000000

3方式可以用来传递自定义参数，通过args\[\]去获取

**1、通过脚本 --conf 方式来提交**  
多个配置参会传递多个 --config

./bin/spark-submit  --class  com.xx.TestApp
      --master yarn 
      --deploy-mode cluster
       --driver-memory 1g 
       --num-executors 2 
       --executor-memory 512M 
       --executor-cores 2 
       //配置信息
       --conf spark.mongodb.input.uri=mongodb://192.168.1.2:27017/onemap-statis
        --conf spark.mongodb.output.collection=test_collection
         test-0.0.1-SNAPSHOT.jar

**2、通过配置文件的方式–properties-file，如果不配置默认读取当前提交节点的 conf/spark-defaults.conf**

./bin/spark-submit  
    --class  com.xx.TestAppp 
     --master yarn 
     --deploy-mode cluster
      --driver-memory 1g 
      --num-executors 2 
      --executor-memory 512M
       --executor-cores 2 
          //配置信息
       --properties-file  extend.conf 
       test-0.0.1-SNAPSHOT.jar

**3、通过main函数传递**  
arg0 arg1 arg3可以传递自定义参数，主函数里面获取

./bin/spark-submit 
     --class  com.xx.TestAppp
       --master yarn 
       --deploy-mode cluster
        --driver-memory 1g 
        --num-executors 2
         --executor-memory 512M
          --executor-cores 2 
           test-0.0.1-SNAPSHOT.jar arg0 arg1 arg3    //配置信息

发表评论取消回复

表情：

评论列表（有 0 条评论，695人围观）

还没有评论，来说两句吧...

相关阅读

相关 SpringBoot 调用外部接口的三种方式

1、简介 SpringBoot不仅继承了Spring框架原有的优秀特性，而且还通过简化配置来进一步简化了Spring应用的整个搭建和开发过程。在Spring-Boot项目

超、凢脫俗/ 2024年03月27日 00:22/ 0 赞/ 93 阅读

相关 SpringBoot读取配置文件参数的三种方式

1. 简介在开发中，经常会遇到需要读取配置文件参数的情况，因此需要开发人员能优雅的读取配置文件参数值。 2. 配置文件在resource目录下新建配置

╰半夏微凉°/ 2023年10月04日 11:56/ 0 赞/ 62 阅读

相关 springboot_读取自定义配置的两种方式

一、核心配置文件核心配置文件是指在resources根目录下的application.properties或application.yml配置文件。我们写自定义配置

谁践踏了优雅/ 2023年07月06日 13:30/ 0 赞/ 9 阅读

相关 Spark的三种提交方式（基于IDEA）

0、创建了一个Maven工程将一些暂时无关的文件和文件夹删除掉，主要有 main\\java, main\\resources 和 test 这三个；将S

「爱情、让人受尽委屈。」/ 2023年06月16日 13:53/ 0 赞/ 5 阅读

相关 Hive 参数配置的三种方式

本文目录 1.-e、-f命令的使用 2.Hive 参数配置方式 Ⅰ.查看当前Hive环境所有的配置信息 Ⅱ.修改Hive中的配置参数

Dear 丶/ 2022年10月14日 11:56/ 0 赞/ 434 阅读

相关 Spark的三种分布式部署方式

目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on [mesos][]和 spark on [YARN][]，其中，第一种类似于M

刺骨的言语ヽ痛彻心扉/ 2022年09月26日 02:53/ 0 赞/ 212 阅读

相关 WPF自定义控件的三种方式

简介：某些场景下，我们确实需要创建新的控件。此时，理解 WPF不同控件的创建方法就显得非常重要。 WPF 提供3个用于创建控件的方法，每个方法都提供不同的灵活度。 WPF控

悠悠/ 2022年09月11日 14:28/ 0 赞/ 288 阅读

相关 MySQL 自定义排序的三种方式

文章目录【问题描述】【需求描述】【代码】【函数参考】

深碍√TFBOYSˉ_/ 2022年08月28日 13:49/ 0 赞/ 204 阅读

相关自定义圆形进度条ProgressBar的三种方式

进度条默认是不确定（indeterminate=true）Android进度条 Android进度条有4种风格可以使用。默认值是progressBarStyle。设

Love The Way You Lie/ 2022年08月09日 09:46/ 0 赞/ 411 阅读

相关 spark 自定义外部配置参数的三种方式

前言 1、2 方式只能修改spark内置参数，外部自定义参数不支持此方式如果传递，将提示 Warning: Ignoring non-spark confi

た入场券/ 2021年11月23日 10:54/ 0 赞/ 696 阅读