spark的shell脚本分析

忘是亡心i 2022-05-07 17:28 227阅读 0赞

1.  bin目录： \{ spark-shell , spark-sql \} --> spark-submit–> spark-class
2.  sbin目录：

# part1: bin目录 #

spark-shell

function main() {
        export SPARK_SUBMIT_OPTS
        "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.repl.Main --name "Spark shell" "$@"
    }
    main "$@"

spark-sql

exec "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver "$@"

spark-submit

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"

spark-class

# For tests
    build_command() {
      "${JAVA_HOME}/bin/java" -Xmx128m -cp "="${SPARK_HOME}/jars/*" org.apache.spark.launcher.Main "$@"
      printf "%d\0" $?
    }
    
    CMD=()
    while IFS= read -d '' -r ARG; do
      CMD+=("$ARG")
    done < <(build_command "$@")
    
    COUNT=${#CMD[@]}
    LAST=$((COUNT - 1))
    LAUNCHER_EXIT_CODE=${CMD[$LAST]}
    
    CMD=("${CMD[@]:0:$LAST}")
    exec "${CMD[@]}"

# part2: 调用spark的scala类 #

scala类org.apache.spark.deploy.SparkSubmit -main函数

def main(args: Array[String]): Unit = {
        val appArgs = new SparkSubmitArguments(args)
        
        if (appArgs.verbose) { 
          printStream.println(appArgs)
        }
        
        appArgs.action match {
          case SparkSubmitAction.SUBMIT => submit(appArgs)
          case SparkSubmitAction.KILL => kill(appArgs)
          case SparkSubmitAction.REQUEST_STATUS => requestStatus(appArgs)
        }
      }

发表评论取消回复

表情：

评论列表（有 0 条评论，227人围观）

还没有评论，来说两句吧...

相关阅读

相关 shell脚本

shell脚本开头一般会标识调用的是那个shell，格式\!/bin/sh,运行脚本文件一般有两种方式sh 脚本名字和./脚本名字这两种方式区别在于，第一种脚本文件开头可

Bertha 。/ 2022年08月10日 09:22/ 0 赞/ 250 阅读

相关 Shell 脚本

</pre><pre code_snippet_id="677645" snippet_file_name="blog_20150528_2_4424221" name

た入场券/ 2022年08月05日 01:00/ 0 赞/ 279 阅读

相关 Shell脚本

1>利用vi 建立一个脚本文件，该文件在用户输入年、月之后，自动打印数出该年该月的日历。然后以3种不同方式执行该脚本，如有不能执行情况，请说明原因。脚本代码:

迈不过友情╰/ 2022年07月16日 13:16/ 1 赞/ 703 阅读

相关 spark--python数据分析脚本

%pyspark \用户消费查询 import sys import MySQLdb import pandas as pd import datetime

àì夳堔傛蜴生んèń/ 2022年06月09日 22:38/ 0 赞/ 165 阅读

相关使用 Shell 脚本进行 Hadoop Spark 集群的批量安装

虽然有一些自动化安装的工具，但是功能越多，越专业的工具，可能也需要越高的学习成本，而我们并非专业运维，但是又必须做这些事情的话，不妨选择用 Shell 脚本来完成集群的安装。

蔚落/ 2022年06月09日 07:18/ 0 赞/ 212 阅读

相关 spark的shell脚本分析

1. bin目录： \{ spark-shell , spark-sql \} --> spark-submit–> spark-class 2. sbin目录： pa

忘是亡心i/ 2022年05月07日 17:28/ 0 赞/ 228 阅读

相关 spark的shell脚本分析

1. bin目录： \{ spark-shell , spark-sql \} --> spark-submit–> spark-class 2. sbin目录： pa

矫情吗；*/ 2022年05月07日 03:52/ 0 赞/ 149 阅读

相关 Spark Shell 的使用

前言前一章中我们介绍了Spark的`Standalone`模式的安装. 本章我们介绍下Spark Shell操作窗口的基本的安装. 基本启动与使用基本算

桃扇骨/ 2022年02月26日 16:46/ 0 赞/ 737 阅读

相关 spark脚本

![20190424170256497.png][] \--executor-memory 6G --executor-cores 2 --num-executors 15

淩亂°似流年/ 2022年02月15日 12:23/ 0 赞/ 230 阅读

相关 Shell脚本

Shell脚本 shell变量：定义变量，变量名不加美元符号（$） your_name="runoob.com" 使用变量使用一个定义过的变量，只要在变量名前

本是古典何须时尚/ 2022年02月03日 16:13/ 0 赞/ 449 阅读