NameNode任务线程之FSNamesystem$HeartbeatMonitor

迷南。 2022-01-10 13:27 174阅读 0赞

在前面的文章里面我已经讲过了，DataNode节点在注册时候就开始定期向NameNode节点发送心跳包，以此来告知NameNode节点自己当前还是可用的，同时从NameNode节点那里得到对自己的控制命令并执行之(这一点本文不表)。显然，当一个DataNode节点没有按时向NameNode节点发送心跳包时，NameNode就然为这个数据节点已经不可用了，清除与之相关的数据信息(比如在改数据节点上的数据块信息)。自然NameNode也再不会把该数据节点分配给客户端使用了。那么这个工作是由NameNode里面的那个部件来完成的呢？废话吗不是，这就是本文索要讲述的重点啊——FSNamesystem$HeartbeatMonitor后台工作线程。

看看代码先：

class HeartbeatMonitor implements Runnable \{  
/\*\*  
\*/  
public void run() \{  
while (fsRunning) \{  
try \{  
heartbeatCheck();  
\} catch (Exception e) \{  
FSNamesystem.LOG.error(StringUtils.stringifyException(e));  
\}  
try \{  
Thread.sleep(heartbeatRecheckInterval);  
\} catch (InterruptedException ie) \{  
\}  
\}  
\}  
\}

简单的说哈上面的代码，HeartbeatMonitor会定期的检测已注册的数据节点的心跳包，每一次检测间隔heartbeatRecheckInterval毫秒，这个值可以通过配置文件中的heartbeat.recheck.interval项来设置。再来看看HeartbeatMonitor是如何检测的。

void heartbeatCheck() \{  
boolean allAlive = false;  
while (!allAlive) \{  
boolean foundDead = false;  
DatanodeID nodeID = null;  
  
// locate the first dead node.  
synchronized(heartbeats) \{  
for (Iterator<DatanodeDescriptor> it = heartbeats.iterator();it.hasNext();) \{  
DatanodeDescriptor nodeInfo = it.next();  
if (isDatanodeDead(nodeInfo)) \{  
foundDead = true;  
nodeID = nodeInfo;  
break;  
\}  
\}  
\}  
  
// acquire the fsnamesystem lock, and then remove the dead node.  
if (foundDead) \{  
synchronized (this) \{  
synchronized(heartbeats) \{  
synchronized (datanodeMap) \{  
DatanodeDescriptor nodeInfo = null;  
try \{  
nodeInfo = getDatanode(nodeID);  
\} catch (IOException e) \{  
nodeInfo = null;  
\}  
if (nodeInfo != null && isDatanodeDead(nodeInfo)) \{  
NameNode.stateChangeLog.info("BLOCK\* NameSystem.heartbeatCheck: " + "lost heartbeat from " + nodeInfo.getName());  
removeDatanode(nodeInfo);//清除与该数据节点相关的数据信息  
\}  
\}  
\}  
\}  
\}  
allAlive = !foundDead;  
\}  
  
private boolean isDatanodeDead(DatanodeDescriptor node) \{  
return (node.getLastUpdate() < (now() -heartbeatExpireInterval));  
\}  
  
很明显NameNode节点是根据数据节点上一次发送的心跳包时间和现在的时间差是否超出heartbeatExpireInterval来判断它是否已dead。我先说的是NameNode节点还是比较的仁慈的，因为heartbeatExpireInterval的值等于2个heartbeatRecheckInterval再加10个heartbeatInterval的和，从这一点可以看出NameNode节点判定一个数据节点的dead还是比较的慎重的，毕竟一个数据节点再次注册到真正能提供服务还是很消耗NameNode节点资源的。哦，对了，heartbeatInterval的值可以通过配置文件的dfs.heartbeat.interval项来设置。

关于清除与数据节点相关的数据信息的方法removeDatanode()貌似是块硬骨头，不好啃啊，还是先放在这里以后在讲吧，因为还有些数据结构没有讲。

转载于:https://blog.51cto.com/decimal/759256

发表评论取消回复

表情：

评论列表（有 0 条评论，174人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python多任务之多线程开发

目录 1 线程的介绍 2 多线程的使用 2.1 导入线程模块 2.2 线程类Thread参数说明 2.3 启动线程

电玩女神/ 2024年04月08日 13:10/ 0 赞/ 107 阅读

相关并发之定时任务线程池

1.ScheduledThreadPoolExecutor 作用指定延时后执行任务周期性重复执行任务 2. ScheduledThreadPoolEx

╰+哭是因爲堅強的太久メ/ 2022年10月18日 00:52/ 0 赞/ 231 阅读

相关 HDFS集群的启动(7)——NameNode任务线程之FSNamesystem$ReplicationMonitor

前面我已经讲了许多关于NameNode的后台任务线程：HeartbeatMonitor、DecommissionManager$Monitor、LeaseManag

爱被打了一巴掌/ 2022年06月18日 13:09/ 0 赞/ 167 阅读

相关 HDFS集群的启动(6)——NameNode任务线程之PendingReplicationBlocks$PendingReplicationMonitor

在前面我已经详细的讲到了一些NameNode的后台工作线程，但是关于PendingReplicationBlocks$PendingReplicationMonito

亦凉/ 2022年06月18日 13:06/ 0 赞/ 209 阅读

相关 HDFS集群的启动(5)——NameNode任务线程之FSNamesystem$HeartbeatMonitor

在前面的文章里面我已经讲过了，DataNode节点在注册时候就开始定期向NameNode节点发送心跳包，以此来告知NameNode节点自己当前还是可用的，同时从Na

朴灿烈づ我的快乐病毒、/ 2022年06月18日 12:41/ 0 赞/ 135 阅读

相关 HDFS集群的启动(4)——NameNode任务线程之LeaseManager$Monitor

在本地文件系统中，一个文件可以允许被多个进程同时同时打开并写入数据，但最后文件的内容是什么，谁也无法预测。请注意，我这里所说的这种文件能同时被多个进程写的操作是被

比眉伴天荒/ 2022年06月18日 12:22/ 0 赞/ 215 阅读

相关 HDFS集群的启动(3)——NameNode任务线程之DecommissionManager$Monitor

我们知道，在NameNode节点启动的时候，会启动一些后台的任务线程，例如： ![0_1320397982xHmR.gif][] 关于这些个后台监控线程有神马具

超、凢脫俗/ 2022年06月18日 11:21/ 0 赞/ 239 阅读

相关 HDFS集群的启动(8)——NameNode任务线程之FSNamesystem$SafeModeMonitor

HDFS集群启动之后并不能马上进入工作模式为用户提供服务，而是先要进入安全模式状态，因为主节点要确定当前集群中的绝大多数数据块Block处于安全可用的状态以确保为用户提

╰半橙微兮°/ 2022年05月14日 06:10/ 0 赞/ 152 阅读

相关多任务--线程

多任务的概念：什么是多任务呢？简单来说，就是操作系统可以同时运行多个任务。现在cpu的多核已经非常普遍了，单核cpu如何执行并行操作？其实就是每个任务分别执行很短的时间

布满荆棘的人生/ 2022年03月22日 09:08/ 0 赞/ 345 阅读

相关 NameNode任务线程之FSNamesystem$HeartbeatMonitor

在前面的文章里面我已经讲过了，DataNode节点在注册时候就开始定期向NameNode节点发送心跳包，以此来告知NameNode节点自己当前还是可用的，同时从NameNode

迷南。/ 2022年01月10日 13:27/ 0 赞/ 175 阅读