网络超时导致namenode被kill的定位

柔光的暖阳◎ 2024-03-17 21:52 20阅读 0赞

交换机升级导致部分网络通信超时, 集群的namenode主从切换后,主namenode进程被杀死。  
网络问题导致namenode与zk间的连接超时触发了hadoop集群的防脑裂机制而主动kill掉了超时的namenode进程。  
![在这里插入图片描述][18f9916bac474c39bf79c972460f1421.png]  
日志分析发现zk和namenode之间的网络连接超时:  
![在这里插入图片描述][82db4132fba24ad89f7a93b738c416b7.png]  
超时触发了namenode切换,并将超时的active状态的namenode杀掉来防止集群脑裂。查看日志发现namenode切换为active之前为了防止集群脑裂,主动ssh到原来的namenode集群上把namenode端口杀掉了。 日志如下：  
![在这里插入图片描述][899f819a016d432f88668081bdd616eb.png]  
集群就直接ssh到强制kill原namenode进程  
![在这里插入图片描述][f03213f1d84145b08dc28495d25695c1.png]

[18f9916bac474c39bf79c972460f1421.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/303dfe3d96ae4a24b9d73777076040c4.png
[82db4132fba24ad89f7a93b738c416b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f75ffc830b304d17b539fad5b842bea2.png
[899f819a016d432f88668081bdd616eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b48b06519a124aa8b85e4894316cbc3f.png
[f03213f1d84145b08dc28495d25695c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/14967c4a61a842bb92937dbb8c68e53a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，20人围观）

还没有评论，来说两句吧...

相关阅读

相关关于网络超时的理解

最近在项目中用restTemplate发送请求时，出现了java.net.SocketTimeOutException: Read time out , ...

r囧r小猫/ 2024年04月17日 18:15/ 0 赞/ 13 阅读

相关网络超时导致namenode被kill的定位

交换机升级导致部分网络通信超时, 集群的namenode主从切换后,主namenode进程被杀死。网络问题导致namenode与zk间的连接超时触发了hadoop集群的防

柔光的暖阳◎/ 2024年03月17日 21:52/ 0 赞/ 21 阅读

相关快速定位SpringBoot接口超时问题的神器！

背景公司有个渠道系统，专门对接三方渠道使用，没有什么业务逻辑，主要是转换报文和参数校验之类的工作，起着一个承上启下的作用。最近在优化接口的响应时间，优化了代码之后，但是

一时失言乱红尘/ 2023年09月27日 10:34/ 0 赞/ 79 阅读

相关任务超时怎么定位

项目中任务超时如何精确定位呢！我们一般分软件超时和硬件超时两种：首先，我们先优先排除是否是硬件超时的问题，这个时候我们把所有的软件任务停一下，然后再手动倒换一下，如果还是超

旧城等待，/ 2022年10月29日 03:14/ 0 赞/ 93 阅读

相关 Arthas 定位 Spring Boot 接口超时

背景公司有个渠道系统，专门对接三方渠道使用，没有什么业务逻辑，主要是转换报文和参数校验之类的工作，起着一个承上启下的作用。最近在优化接口的响应时间，优化了代码之后，

电玩女神/ 2022年10月09日 04:49/ 0 赞/ 88 阅读

相关 MySQL中MGR中SECONDARY节点磁盘满，导致mysqld进程被OOM Killed

本文首发于 GreatSQL社区微信公众号。问题描述 MySQL 8.0.26 测试过程 disk full报告过程及何时被oo

淩亂°似流年/ 2022年09月12日 05:47/ 0 赞/ 97 阅读

相关白名单导致的rpc调用超时问题

异常日志如下： 2021-08-19 12:27:28.687\[ERROR\]\[ XNIO-2 task-19\]-0RspW c.t.c.p.a.a.Exceptio

短命女/ 2022年09月08日 00:08/ 0 赞/ 108 阅读

相关解决kill大事务导致的undo争用

wait for a undo record是cpu并行恢复的资源争用undo记录的等待事件调整相关参数 fast\_start\_parallel\_rollback

心已赠人/ 2022年08月04日 11:54/ 0 赞/ 81 阅读

相关 npm安装Electron缓慢网络超时导致失败

Electron 框架的前身是 Atom Shell,可以让你写使用 JavaScript,HTML 和CSS 构建跨平台的桌面应用程序。它是基于io.js 和 Chromiu

心已赠人/ 2022年07月17日 01:53/ 0 赞/ 143 阅读

相关保证service在后台不被kill

Android 其实无法做多绝对的不被后台kill掉，我们只能尽量使用一些操作提升不被kill的机会。一、onStartCommand方法，返回START\_STICKY

痛定思痛。/ 2022年06月08日 04:20/ 0 赞/ 151 阅读