Spark历史服务器配置与使用

落日映苍穹つ 2021-11-09 03:44 356阅读 0赞

# 介绍 #

spark也有历史服务器，监控已经运行完成的spark application  
[start-history-server.sh][]  
（1）将application运行的日志信息保存起来  
MapReduce运行的时候，启动了日期聚集功能：将日志信息 上传到HDFS目录  
（2）启动一个服务读取日志信息，以便前端页面展示  
MrHistoryServer

# 配置Spark HistoryServer #

## 1. 将我们application EventLog保存到HDFS ##

spark.eventLog.enabled=true
    spark.eventLog.dir=hdfs:// bigdata-hpsk01.huadian.com:8020/datas/spark/eventLogs
    备注：/datas/spark/eventLogs需要提前创建好
    spark.eventLog.compress=true
    spark.io.compression.codec

## 将上面4个配置属性放哪里 ##

### 针对于某一个应用配置 ###

### 编码实现，在config对象中配置 ###

### 命令行参数中配置 ###

### 所有的应用配置—全局配置 ###

放在配置文件中
    	spark-defaults.conf

## 2.启动HistoryServer读取日志进行展示 ##

我从哪里去读取这些日志信息
    	配置：spark-evn.sh

### 执行命令 ###

bin/spark-shell \
    --master spark://bigdata-hpsk01.huadian.com:7077 \
    --conf spark.eventLog.enabled=true \
    --conf spark.eventLog.dir=hdfs://bigdata-hpsk01.huadian.com:8020/datas/spark/eventLogs \
    --conf spark.eventLog.compress=true \
    --executor-cores 1 \
    --total-executor-cores 2 \
    --driver-memory 512M \
    --executor-memory 512M

## 3.查看 ##

通过18080 查看  
[http://bigdata-hpsk01.huadian.com:18080/][http_bigdata-hpsk01.huadian.com_18080]

[start-history-server.sh]: http://start-history-server.sh
[http_bigdata-hpsk01.huadian.com_18080]: http://bigdata-hpsk01.huadian.com:18080/

发表评论取消回复

表情：

评论列表（有 0 条评论，356人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark 历史版本下载地址

[https://archive.apache.org/dist/spark/][https_archive.apache.org_dist_spark] ![waterma

旧城等待，/ 2023年10月04日 14:40/ 0 赞/ 8 阅读

相关 spark历史版本下载地址

[https://archive.apache.org/dist/spark/][https_archive.apache.org_dist_spark] ![在这里插入图

╰半橙微兮°/ 2023年10月03日 09:41/ 0 赞/ 6 阅读

相关 spark系列2：spark集群的配置与使用

2. Spark 集群搭建目标 1. 从 Spark 的集群架构开始, 理解分布式环境, 以及 Spark 的运行原理 2. 理解 Spark 的集群搭建, 包括

一时失言乱红尘/ 2022年11月09日 12:33/ 0 赞/ 186 阅读

相关 Spark--安装与配置

原文网址：[Spark--安装与配置\_IT利刃出鞘的博客-CSDN博客][Spark--_IT_-CSDN] 简介需要安装的：JDK、scala、Spark（注意与

柔光的暖阳◎/ 2022年10月31日 13:48/ 0 赞/ 159 阅读

相关配置&使用Spark History Server

Spark history Server产生背景以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程

忘是亡心i/ 2022年08月07日 05:36/ 0 赞/ 131 阅读

相关伪分布式问题一（配置历史服务器）

伪分布式问题一（配置历史服务器） 1.引出 2.解决（配置历史服务器） 2.1在当前目录下 2.2配置mapred-site.xml

墨蓝/ 2022年04月06日 04:40/ 0 赞/ 172 阅读

相关 Spark的历史与发展（目录）

对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人感到惊诧。2009年，Spark诞生于伯克利大学AMPLab，最开初属于伯克利

快来打我*/ 2022年03月28日 15:11/ 0 赞/ 383 阅读

相关 hadoop—集群配置历史服务器及访问历史服务器日志

Hadoop历史服务器 > Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce

野性酷女/ 2022年02月20日 04:29/ 0 赞/ 734 阅读

相关 Flink历史服务器

Flink历史服务器 Flink有一个历史记录服务器，可用于在关闭相应的Flink群集后查询已完成作业的统计信息。此外，它公开了一个REST API，

快来打我*/ 2021年11月13日 15:36/ 0 赞/ 415 阅读

相关 Spark历史服务器配置与使用

介绍 spark也有历史服务器，监控已经运行完成的spark application [start-history-server.sh][] （1）将applic

落日映苍穹つ/ 2021年11月09日 03:44/ 0 赞/ 357 阅读