Spark History Server配置、启动、spark运行环境优化

清疚 2022-05-17 02:22 495阅读 0赞

Spark History Server配置

（1）spark history server查看运行完成的作业信息和日志

（2）配置Hadoop的yarn-site.xml文件，所有节点配置文件同步，重启yarn



yarn.log.server.url

http://node02:19888/jobhistory/logs

Yarn JobHistoryServer访问地址

（3）修改spark安装包conf目录下的spark-defaults.conf（如果没有该文件，通过spark-defaults.conf.template模板复制一个），spark history server在192.168.137.100节点启动，spark_logs这个目录需要在HDFS上提前创建

spark.yarn.historyServer.address=192.168.137.100:18080

spark.history.ui.port=18080

spark.eventLog.enabled=true

spark.eventLog.dir=hdfs://spark_logs

spark.history.fs.logDirectory=hdfs:///spark_logs

Spark History Server启动

（1）启动Spark History Server

sbin/start-history-server.sh

（2）Spark History Server访问地址

http://192.168.137.100:18080

（3）Spark History Server使用

Spark运行环境优化

将spark系统jar包上传到HDFS上，直接使用HDFS上的文件

（1）在spark安装目录下运行：jar cv0f spark-libs.jar -C jars/ .

（2）将spark安装目录下生成的spark-libs.jar上传到HDFS上的/system/spark（需要手动创建）目录下

hadoop fs -put spark-libs.jar /system/spark

（3）修改spark安装包conf目录下spark-defaults.conf配置文件添加spark-libs.jar在HDFS上的路径

spark.yarn.archive=hdfs:///system/spark/spark-libs.jar

发表评论

表情：
评论列表 （有 0 条评论，495人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Spark-运行环境以及部署

    运行环境 Spark 作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我

    水深无声水深无声/ 0 赞/ 216 阅读