NameNode中数据节点的保存(2)——NetworkTopology

骑猪看日落 2022-06-16 01:13 167阅读 0赞

在前面的一篇文章中，我分析了NameNode用来保存DataNode节点的一种数据结构——Host2NodesMap类，它被用来存储主机与DataNode节点之间的映射，同时NameNode用这个数据结构来计算整个集群的负载情况，在本文，我将介绍另一种DataNode节点的存储结构——NetworkTopology。NetworkTopology类将整个集群中的DataNode节点存储成了一个树状网络拓扑图，当然，在NameNode节点把一个DataNode节点交给NetworkTopology类保存之前，它已经将这个DataNode节点坐在的主机ip解析成了一个/\*/\*/\*/\*的形式，这样的话，NetworkTopology就更好处理了。

![0_13249761777v4n.gif][]

先来看看与NetworkTopology类相关联的类图，以便能更好地了解它是如何来表示整个集群中DataNode节点位置的。

![0_1324977081t7et.gif][]

Node接口表示网络拓扑图中节点的抽象，一个Node的实例可能表示的是一个DataNode节点，也可能是集群中的路由器或者是机架，而InnerNode的实例表示的可能是一个路由器，也可能是机架，在中是这样判断是不是机架的：

boolean isRack() \{  
      if (children.isEmpty()) \{  
        return true;  
      \}  
              
      Node firstChild = children.get(0);  
      if (firstChild instanceof InnerNode) \{  
        return false;  
      \}  
              
      return true;  
 \}

Node接口的基本实现是NodeBase，用来表示一个节点实体，并且顶多用来表示HDFS集群中的DataNode节点，它的四个属性含义是：

protected String name; //该结点的名称(host:port)  
protected String location; //该结点的网络位置  
protected int level; //该结点在网络拓扑中的层次

protected Node parent; //该结点的父结点

集群中的一个路由器节点可以包含多个路由器节点，也可以包含多个机架节点，一个机架节点可以包含多个DataNode节点，这就是NameNode通过NetworkTopology来管存储群中所有节点的一种方式，那么，它为何要这样来存储呢?实际上，NameNode通过这种树状网络拓扑结构来表示集群中DataNode节点在物理位置上的关系，以方便任何两个DataNode节点之间距离的计算，同时也为NameNode评估集群的负载情况提供计算依据，例如，属于同一个机架的DataNode节点它们在物理上是非常近的，可能就在一个局域网内，同时NamNode也可以计算这个局域网当前的网络带宽的占用情况(这对NameNode节点为一个文件的block副本选取那些存储节点以提高性能是非常重要的)。

[0_13249761777v4n.gif]: /images/20220616/f0fb0a12856448f9aa207bf137c60c1c.png
[0_1324977081t7et.gif]: /images/20220616/8554a5d6fa8144798483552d2eee3e49.png

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关移动namenode、secondarynamenode和jobTracker的节点（使其成为独立节点）

由于集群规模差异较大，对于主节点守护进程的配置也差异很大，包括namenode、辅助namenode和jobtracker。对于一个小型集群来说（几十个节点），可以直接将这些守

我不是女神ヾ/ 2022年08月26日 06:00/ 0 赞/ 176 阅读

相关 NameNode节点的升级/回滚/提交

我记得在前面已经以regular方式为例详细的讲述了有关NameNode启动的过程，在开始本文的重点之前，我觉得还是有必要在简单的描述一下这个过程： ![0_1

太过爱你忘了你带给我的痛/ 2022年07月03日 16:24/ 0 赞/ 234 阅读

相关 NameNode节点加载FSImage+EditsLog

在前面的博文中，我曾多次提到过在NameNode的启动过程中有加载FSImage+EditsLog这一必不可少的一项。关于文件fsImage和文件edits是用来存

àì夳堔傛蜴生んèń/ 2022年06月16日 23:16/ 0 赞/ 160 阅读

相关 NameNode中数据节点的保存(2)——NetworkTopology

在前面的一篇文章中，我分析了NameNode用来保存DataNode节点的一种数据结构——Host2NodesMap类，它被用来存储主机与DataNode节点之

骑猪看日落/ 2022年06月16日 01:13/ 0 赞/ 168 阅读

相关 NameNode中数据节点的保存(1)——Host2NodesMap

对于一台主机，我们可以在它上面部署多个DataNode进程，这也就是说在一台机器上有多个DataNode节点，而且这些DataNode节点属于同一个HDFS集群

谁践踏了优雅/ 2022年06月16日 01:11/ 0 赞/ 116 阅读

相关 hadoop中NameNode节点CPU使用量高解决方案（亲测）

集群中任务执行超慢，查原因 top一下 ![70][] 查看19118进程发现这个节点是NameNode节点然后 ps aux |grep 19118 js

刺骨的言语ヽ痛彻心扉/ 2022年05月15日 03:05/ 0 赞/ 609 阅读

相关 Hadoop namenode 数据恢复

hdfs的namenode元数据是存储在硬盘上的，但是断电可能会造成元数据丢失，发生数据丢失以后，可以采取以下方法对数据进行恢复。先format namenode

比眉伴天荒/ 2022年05月15日 01:42/ 0 赞/ 347 阅读

相关主节点nameNode启动，数据节点dataNode崩溃

原因：是没有执行hdfs nameNode -format 初始化解决：把hadoop\_tmp目录下的文件都删除，执行命令hdfs nameNode -format 初始

男娘i/ 2022年04月05日 13:53/ 0 赞/ 247 阅读

相关 Namenode如何保存文件信息Namenode如何查找文件

[原文链接][Link 1] 过程总览 hdfs文件均存放在datanode上，namenode上不会存放文件。当客户上传一个文件后，namenode会先对文件作相应的

亦凉/ 2022年01月13日 12:27/ 0 赞/ 547 阅读

相关 python中数据的保存

1.将list中的数据写入到excel文件中利用python包numpy（实现方式应该有许多种，这里只是记录成功实现的一种）中的[savetxt][] 局限性：要保存的l

小咪咪/ 2021年07月16日 14:25/ 0 赞/ 423 阅读