Flink历史服务器

快来打我* 2021-11-13 15:36 414阅读 0赞

**Flink历史服务器**

Flink有一个历史记录服务器，可用于在关闭相应的Flink群集后查询已完成作业的统计信息。

此外，它公开了一个REST API，它接受HTTP请求并使用JSON数据进行响应。

**概述**

HistoryServer允许查询已由JobManager归档的已完成作业的状态和统计信息。

配置HistoryServer *和* JobManager后，可以通过相应的启动脚本启动和停止HistoryServer：

*  
 *

# Start or stop the HistoryServerbin/historyserver.sh (start|start-foreground|stop)

配置键jobmanager.archive.fs.dir,historyserver.archive.fs.refresh-interval需要进行调整以存档和显示存档的作业。

**JobManager**

已完成作业的归档发生在JobManager上，JobManager将归档的作业信息上载到文件系统目录。可以flink-conf.yaml通过设置目录来配置目录以存档已完成的作业jobmanager.archive.fs.dir。

*  
 *

# Directory to upload completed job informationjobmanager.archive.fs.dir: hdfs:///completed-jobs

**HistoryServer**

可以将HistoryServer配置为监视via中以逗号分隔的目录列表historyserver.archive.fs.dir。为新存档定期轮询已配置的目录; 轮询间隔可以通过配置historyserver.archive.fs.refresh-interval。

*  
 *  
 *  
 *  
 *

# Monitor the following directories for completed jobshistoryserver.archive.fs.dir: hdfs:///completed-jobs # Refresh every 10 secondshistoryserver.archive.fs.refresh-interval: 10000

包含的存档将下载并缓存在本地文件系统中。通过此配置本地目录historyserver.web.tmpdir。

![640?wx\_fmt=png][640_wx_fmt_png]

[640_wx_fmt_png]: /images/20211113/e3317a2803a34b048ccd11ae879ef018.png

发表评论取消回复

表情：

评论列表（有 0 条评论，414人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink 1.17教程：历史服务器History Server

K8S 运行模式容器化部署是如今业界流行的一项技术，基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes（

淩亂°似流年/ 2023年10月15日 14:38/ 0 赞/ 43 阅读

相关 Flink 1.17教程：集群搭建、运行模式（standalone/yarn/k8s）及历史服务器

集群角色 ![img][] 集群启动 > 如果是部署在本地，本地访问，无需进行任何配置，直接启动即可。 > > 如果是部署在服务器，需要远程访问，则需要将`fl

朴灿烈づ我的快乐病毒、/ 2023年10月15日 14:37/ 0 赞/ 57 阅读

相关 Flink实战（九）Flink 开启历史服务器

今天突然发现所有作业的历史执行记录都没有了。所以找了一下flink的历史服务器怎么配置的。 1. `flink-conf.yaml`配置task的存档目录

冷不防/ 2023年07月12日 14:12/ 0 赞/ 50 阅读

相关 671-聊天服务器的历史消息存储问题

聊天服务器的历史消息存储问题本地消息存储：一对一聊天中，可以在本地程序的目录以好友的QQ号作为文件夹（这个肯定是不会重复的），超过200M，存储到下一个文件，也可

亦凉/ 2022年09月15日 05:47/ 0 赞/ 116 阅读

相关伪分布式问题一（配置历史服务器）

伪分布式问题一（配置历史服务器） 1.引出 2.解决（配置历史服务器） 2.1在当前目录下 2.2配置mapred-site.xml

墨蓝/ 2022年04月06日 04:40/ 0 赞/ 171 阅读

相关 hadoop—集群配置历史服务器及访问历史服务器日志

Hadoop历史服务器 > Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce

野性酷女/ 2022年02月20日 04:29/ 0 赞/ 734 阅读

相关 Linux服务器记录并查询历史操作记录

[https://www.cnblogs.com/aini521521/p/9718129.html][https_www.cnblogs.com_aini521521_p_9

╰半橙微兮°/ 2022年02月12日 15:39/ 0 赞/ 242 阅读

相关 Flink历史服务器

Flink历史服务器 Flink有一个历史记录服务器，可用于在关闭相应的Flink群集后查询已完成作业的统计信息。此外，它公开了一个REST API，

快来打我*/ 2021年11月13日 15:36/ 0 赞/ 415 阅读

相关 Spark历史服务器配置与使用

介绍 spark也有历史服务器，监控已经运行完成的spark application [start-history-server.sh][] （1）将applic

落日映苍穹つ/ 2021年11月09日 03:44/ 0 赞/ 356 阅读

相关导入excle到服务器时候删除服务器历史数据

//删除历史数据EXCLE 当天前一天的数据都删除 var folder = Path.GetDirectoryName(abs

朱雀/ 2021年10月24日 02:18/ 0 赞/ 288 阅读