HDFS集群的启动(5)——NameNode任务线程之FSNamesystem$HeartbeatMonitor

朴灿烈づ我的快乐病毒、 2022-06-18 12:41 112阅读 0赞

在前面的文章里面我已经讲过了，DataNode节点在注册时候就开始定期向NameNode节点发送心跳包，以此来告知NameNode节点自己当前还是可用的，同时从NameNode节点那里得到对自己的控制命令并执行之(这一点本文不表)。显然，当一个DataNode节点没有按时向NameNode节点发送心跳包时，NameNode就然为这个数据节点已经不可用了，清除与之相关的数据信息(比如在改数据节点上的数据块信息)。自然NameNode也再不会把该数据节点分配给客户端使用了。那么这个工作是由NameNode里面的那个部件来完成的呢？废话吗不是，这就是本文索要讲述的重点啊——FSNamesystem$HeartbeatMonitor后台工作线程。

看看代码先：

class HeartbeatMonitor implements Runnable \{  
    /\*\*  
     \*/  
    public void run() \{  
      while (fsRunning) \{  
        try \{  
          heartbeatCheck();  
        \} catch (Exception e) \{  
          FSNamesystem.LOG.error(StringUtils.stringifyException(e));  
        \}  
        try \{  
          Thread.sleep(heartbeatRecheckInterval);  
        \} catch (InterruptedException ie) \{  
        \}  
      \}  
    \}  
  \}

简单的说哈上面的代码，HeartbeatMonitor 会定期的检测已注册的数据节点的心跳包，每一次检测间隔heartbeatRecheckInterval 毫秒，这个值可以通过配置文件中的heartbeat.recheck.interval项来设置。再来看看HeartbeatMonitor是如何检测的。

void heartbeatCheck() \{  
    boolean allAlive = false;  
    while (!allAlive) \{  
      boolean foundDead = false;  
      DatanodeID nodeID = null;  
  
      // locate the first dead node.  
      synchronized(heartbeats) \{  
        for (Iterator<DatanodeDescriptor> it = heartbeats.iterator();it.hasNext();) \{  
          DatanodeDescriptor nodeInfo = it.next();  
          if (isDatanodeDead(nodeInfo)) \{              
            foundDead = true;  
            nodeID = nodeInfo;  
            break;  
          \}  
        \}  
      \}  
  
      // acquire the fsnamesystem lock, and then remove the dead node.  
      if (foundDead) \{  
        synchronized (this) \{  
          synchronized(heartbeats) \{  
            synchronized (datanodeMap) \{  
              DatanodeDescriptor nodeInfo = null;  
              try \{  
                nodeInfo = getDatanode(nodeID);  
              \} catch (IOException e) \{  
                nodeInfo = null;  
              \}  
              if (nodeInfo != null && isDatanodeDead(nodeInfo)) \{  
                NameNode.stateChangeLog.info("BLOCK\* NameSystem.heartbeatCheck: " + "lost heartbeat from " + nodeInfo.getName());  
                removeDatanode(nodeInfo);//清除与该数据节点相关的数据信息  
              \}  
            \}  
          \}  
        \}  
      \}  
      allAlive = !foundDead;  
    \}  
  
private boolean isDatanodeDead(DatanodeDescriptor node) \{  
    return (node.getLastUpdate() < (now() - heartbeatExpireInterval));  
  \}  
  
很明显NameNode节点是根据数据节点上一次发送的心跳包时间和现在的时间差是否超出heartbeatExpireInterval来判断它是否已dead。我先说的是NameNode节点还是比较的仁慈的，因为heartbeatExpireInterval的值等于2个heartbeatRecheckInterval再加10个heartbeatInterval的和，从这一点可以看出NameNode节点判定一个数据节点的dead还是比较的慎重的，毕竟一个数据节点再次注册到真正能提供服务还是很消耗NameNode节点资源的。哦，对了，heartbeatInterval的值可以通过配置文件的dfs.heartbeat.interval项来设置。

关于清除与数据节点相关的数据信息的方法removeDatanode()貌似是块硬骨头，不好啃啊，还是先放在这里以后在讲吧，因为还有些数据结构没有讲。

发表评论取消回复

表情：

评论列表（有 0 条评论，112人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS集群的启动(7)——NameNode任务线程之FSNamesystem$ReplicationMonitor

前面我已经讲了许多关于NameNode的后台任务线程：HeartbeatMonitor、DecommissionManager$Monitor、LeaseManag

爱被打了一巴掌/ 2022年06月18日 13:09/ 0 赞/ 140 阅读

相关 HDFS集群的启动(6)——NameNode任务线程之PendingReplicationBlocks$PendingReplicationMonitor

在前面我已经详细的讲到了一些NameNode的后台工作线程，但是关于PendingReplicationBlocks$PendingReplicationMonito

亦凉/ 2022年06月18日 13:06/ 0 赞/ 176 阅读

相关 HDFS集群的启动(5)——NameNode任务线程之FSNamesystem$HeartbeatMonitor

在前面的文章里面我已经讲过了，DataNode节点在注册时候就开始定期向NameNode节点发送心跳包，以此来告知NameNode节点自己当前还是可用的，同时从Na

朴灿烈づ我的快乐病毒、/ 2022年06月18日 12:41/ 0 赞/ 113 阅读

相关 HDFS集群的启动(4)——NameNode任务线程之LeaseManager$Monitor

在本地文件系统中，一个文件可以允许被多个进程同时同时打开并写入数据，但最后文件的内容是什么，谁也无法预测。请注意，我这里所说的这种文件能同时被多个进程写的操作是被

比眉伴天荒/ 2022年06月18日 12:22/ 0 赞/ 183 阅读

相关 HDFS集群的启动(3)——NameNode任务线程之DecommissionManager$Monitor

我们知道，在NameNode节点启动的时候，会启动一些后台的任务线程，例如： ![0_1320397982xHmR.gif][] 关于这些个后台监控线程有神马具

超、凢脫俗/ 2022年06月18日 11:21/ 0 赞/ 218 阅读

相关 HDFS集群的启动(1)——概述

众所周知，在HDFS集群中，主要有两类节点，即NameNode和DataNode节点，确切的说，一个NameNode节点，其它的所有DataNode节点。那么，H

爱被打了一巴掌/ 2022年06月18日 10:55/ 0 赞/ 358 阅读

相关 HDFS集群的启动(8)——NameNode任务线程之FSNamesystem$SafeModeMonitor

HDFS集群启动之后并不能马上进入工作模式为用户提供服务，而是先要进入安全模式状态，因为主节点要确定当前集群中的绝大多数数据块Block处于安全可用的状态以确保为用户提

╰半橙微兮°/ 2022年05月14日 06:10/ 0 赞/ 128 阅读

相关通过命令来查看HDFS集群NameNode的状态

1. 概述 hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNo

旧城等待，/ 2022年05月08日 10:30/ 0 赞/ 1879 阅读

相关 hdfs的namenode启动失败

Fri May 17 17:27:51 CST 2019 JAVA_HOME=/opt/usr/java/jdk1.8.0_141 using /opt

墨蓝/ 2022年01月30日 02:41/ 0 赞/ 238 阅读

相关 NameNode任务线程之FSNamesystem$HeartbeatMonitor

在前面的文章里面我已经讲过了，DataNode节点在注册时候就开始定期向NameNode节点发送心跳包，以此来告知NameNode节点自己当前还是可用的，同时从NameNode

迷南。/ 2022年01月10日 13:27/ 0 赞/ 151 阅读