Spark配置管理【代码级、参数级、配置文件级】

╰半夏微凉° 2023-05-21 07:24 10阅读 0赞

## 一.简介 ##

Spark对程序提供了非常灵活的配置方式，可以使用环境变量、配置文件、命令行参数，还可以直接在Spark程序中指定，不同的配置方式有不同的优先级，可以相互覆盖。而且这些配置的属性在Web界面中可以直接看到，非常方便我们管理配置。

## 二.Spark程序配置加载过程 ##

Spark程序一般都是由脚本bin/spark-submit来提交的，交互式编程bin/spark-shell其实也是通过它来提交的。通过这种方式启动的Spark程序的加载配置过程如下：  
　　1.设置SPARK\_HOME的值为bin/spark-submit脚本所在目录的上一级目录。  
　　2.计算配置文件目录，从环境变量SPARK\_CONF\_DIR中读取。如果没有设置，则取默认值$\{SPARK\_HOME\}/conf。  
　　3.执行配置文件目录下的shell脚本配置文件spark-env.sh，设置基本的环境变量。  
　　4.加载配置文件目录下的默认配置文件spark-defaults.conf。  
　　5.读取命令行参数，覆盖前面的默认配置。  
　　6.使用SparkConf对象中的选项，覆盖前面的配置。

## 三.环境变量配置 ##

少量基础的Spark程序配置可以通过环境变量的方式来指定，比如配置文件目录是通过环境变量SPARK\_CONF\_DIR来指定的，其默认值是$\{SPARK\_HOME\}/conf。我们可以在提交Spark程序之前通过指定SPARK\_CONF\_DIR值的方式来使用其他目录作为配置文件的目录。  
　　环境变量可以在提交程序之前通过export的方式设置，也可以在配置文件目录下的spark-env.sh文件中指定，其中spark-env.sh本身也是一个脚本。常用的配置项如下所示：  
　　1.SPARK\_LOCAL\_IP：绑定的IP地址。  
　　2.SPARK\_PUBLIC\_DNS：Driver程序使用的DNS服务器。  
　　3.SPARK\_CLASSPATH：额外追加的classpath。

## 四.Spark属性项配置 ##

Spark属性项的配置可以在3个地方进行，优先级从低到高依次为：  
　　1.spark-defaults.conf  
　　2.命令行参数  
　　3.SparkConf对象  
　　spark-defaults.conf的初始值可以从spark-defaults.conf.template复制而来，如下：  
![在这里插入图片描述][20200429141751262.png]  
　　提交程序时，也可以通过命令行的方式指定参数，且优先级大于配置文件，如下：  
　./bin/spark-submit --name “SparkPi” --master yarn --conf “spark.shuffle.spill=false -XX:+PrintGCTimeStamps” myApp.jar  
　　在Spark 程序中也可以指定配置项，而且优先级最高，不过灵活性不如前面的两种方式，每次改动配置都需要更新代码并编译。Spark程序中通过SparkConf【Spark1.x】对象来设置配置项。如下：  
　　val conf = new SparkConf().setMaster(“local\[2\]”).setAppName(“SparkPi”).set(“spark.executor.memory”, “1g”)  
　　val sc = new SparkContext(conf)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70]

## 五.配置Spark日志 ##

日志配置是另一项单独的配置，它使用配置文件目录下的log4j.properties作为配置文件。

# Set everything to be logged to the console
    log4j.rootCategory=INFO, console
    log4j.appender.console=org.apache.log4j.ConsoleAppender
    log4j.appender.console.target=System.err
    log4j.appender.console.layout=org.apache.log4j.PatternLayout
    log4j.appender.console.layout.ConversionPattern=%d{ yy/MM/dd HH:mm:ss} %p %c{ 1}: %m%n
    
    # Set the default spark-shell log level to WARN. When running the spark-shell, the
    # log level for this class is used to overwrite the root logger's log level, so that
    # the user can have different defaults for the shell and regular Spark apps.
    log4j.logger.org.apache.spark.repl.Main=WARN
    
    # Settings to quiet third party logs that are too verbose
    log4j.logger.org.spark_project.jetty=WARN
    log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
    log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
    log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
    log4j.logger.org.apache.parquet=ERROR
    log4j.logger.parquet=ERROR
    
    # SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
    log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
    log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

[20200429141751262.png]: /images/20230521/1a10c83a5e474291b59dcd346161a752.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70]: /images/20230521/f77585ac16e54e918f6b0d4d37cf66f0.png