HDFS集群的启动(1)——概述

爱被打了一巴掌 2022-06-18 10:55 407阅读 0赞

众所周知，在HDFS集群中，主要有两类节点，即NameNode和DataNode节点，确切的说，一个NameNode节点，其它的所有DataNode节点。那么，HDFS集群的启动就自然而然的可以看做是一个NameNode节点的启动和所有其它的DataNode节点的启动问题了。在这里我要不得不提的是，NameNode和DataNode有各自不同的启动方式，其中，NameNode的启动方式有：format、regular、upgrade、rollback、finalize、importCheckpoint六种，DataNode的启动方式有：regular、rollback两种。关于NameNode和DataNode的各种启动方式是如何工作的，我在这里不会一一讲解，但我会在以后的博文中来详细的描述。在本文中，我将主要讲解NameNode和DataNode节点最常用的也是最基本的启动方式regular。对了，稍微提一下，NameNode在第一次启动之前，一定要先以format方式启动，然后再才能以其它的方式启动，至于为什么，请感兴趣的盆友查看我前面的博文。同时，我必须要重点重申的是，NameNode节点一定要在其它的任何DataNode节点之前启动，而且，在NameNode节点启动之后，其它的DataNode也不能马上就启动。

OK，让我们先来看看NameNode节点的启动吧！对于NameNode中的属性：

![0_1320153379kVoj.gif][]

这之中有两个重量级的家伙server和namesystem。 Server是RPC服务器端的实现，它主要负责和远程的客户端进行通信，反序列化和序列化远程调用中的参数和返回值，而真正负责执行远程方法的则是NameNode本身。namesystem保存了所有的关于文件的元数据信息，当然还包括操作日志，负责数据的持久化来保证系统的可恢复性，必须的。NameNode启动时会先创建Server，然后再创建FSNamesystem，而在创建FSNamesystem的时候，他会加载所有的元数据信息到内存，这个过程是相当耗费时间的(这就是为什么上面提到的，NameNode节点启动之后，其它的DataNode不能马上就启动的原因)。之后，开启Server远程调用服务。但是，NameNode节点也会马上进入安全模式，等待其它DataNode节点的注册，以及统计其它DataNode节点上报的数据块Block信息。当在一定的时间间隔之内没有DataNode节点的注册和Block报告之后，此时的NameNode节点就认为集群中再也没有其它的DataNode节点了(或者是当前正常的DataNode节点)，就会离开安全模式，才开始真正为客户端服务。值得注意的是，处于安全模式状态的NameNode节点是不会为客户端服务的，当有客户端请求服务时，会返回当前NameNode节点正处于安全模式的错误。  
      现在，我们来谈谈DataNode节点的启动。在上面已经说到，DataNode节点必须要在NameNode节点启动之后的一个恰当时机才能启动，即要等到NameNode节点的Server服务开启之后，DataNode才能启动。对于DataNode主要有DataStorage、DataNodeProtocol、DataXceiverServer、Server四个组件，其中，DataStorage保存数据块信息，DataNodeProtocol负责调用NameNode的服务，DataXceiverServer负责数据的传输(客户端和其它DataNode)，Server为客户端和其它DataNode节点服务。关于这四大组件的启动顺序以及是如何工作的，我们还是来看一张图吧：  
![0_13202349308XXc.gif][]  
上图基本描述了NameNode节点和DataNode节点各自的启动过程，同时也反映了整个HDFS集群的启动过程以及其内部节点之间的工作机制。  
     本文只是从宏观的角度阐述了HDFS集群从启动到正式为Client服务这一段时间内，NameNode和DataNode的工作过程，以后我还会更加深入细致的讨论这其中的细节问题。另外，我还要必须提到的是在HDFS集群中，除了NameNode节点和DataNode节点之外，还有另一类节点：SecondaryNameNode。SecondaryNameNode主要负责对NameNode节点的元数据进行备份。(未完待续)

[0_1320153379kVoj.gif]: /images/20220618/a2dd092ba1b9443c9522b074f915a184.png
[0_13202349308XXc.gif]: /images/20220618/5cf0c8a050a2460997cb0d3e7d5a8d35.png

发表评论取消回复

表情：

评论列表（有 0 条评论，407人围观）

还没有评论，来说两句吧...

相关阅读

相关 Dubbo集群概述

在Dubbo体系中，集群模块是服务提供者和服务消费者的中间层，为服务消费者屏蔽了服务提供者的情况，这样服务消费者就可以专心处理远程调用相关事宜。比如发请求，接受服务提供者返回的

雨点打透心脏的1/2处/ 2023年06月22日 06:26/ 0 赞/ 86 阅读

相关 Redis集群概述

Redis Cluster与Redis3.0.0同时发布，以此结束了Redis无官方集群方案的时代，目前，Redis已经发布了3.0.7版本。

梦里梦外;/ 2022年12月06日 01:05/ 0 赞/ 181 阅读

相关 HDFS集群的启动(2)——DataNode节点的注册

前面我已经就HDFS集群的启动问题在整体上进行了阐述，而在本文，我将主要针对DataNode节点在启动的过程中会首先向NameNode节点进行注册这一细节进行深入的讨

深藏阁楼爱情的钟/ 2022年06月18日 11:16/ 0 赞/ 411 阅读

相关 HDFS集群的启动(1)——概述

众所周知，在HDFS集群中，主要有两类节点，即NameNode和DataNode节点，确切的说，一个NameNode节点，其它的所有DataNode节点。那么，H

爱被打了一巴掌/ 2022年06月18日 10:55/ 0 赞/ 408 阅读

相关 Hadoop-3.hdfs集群

目录： 1. 准备三台主机（01主机、02主机、03主机） 1. 修改mac地址虚拟机-设置-网络适配器-高级-mac地址-生成

深碍√TFBOYSˉ_/ 2022年04月23日 01:24/ 0 赞/ 223 阅读

相关 hdfs集群的搭建

转自： [https://blog.csdn.net/wanbf123/article/details/81948026][https_blog.csdn.net_wanbf1

我就是我/ 2022年04月11日 04:22/ 0 赞/ 228 阅读

相关集群HDFS文件的操作（Shell）

集群HDFS文件的操作（Shell） 1.基本语法 2.一些帮助理解的例子 2.1命令执行条件（启动集群） 2.2查看常用命令

ゞ浴缸里的玫瑰/ 2022年04月04日 03:46/ 0 赞/ 240 阅读

相关查看HDFS集群信息

clusterID：集群ID，必须保持一致 1）在NameNode上查看 cat $HADOOP\_HOME/dfs/name/current/VERSIO

叁歲伎倆/ 2021年12月20日 14:51/ 0 赞/ 513 阅读

相关安装hadoop集群--hdfs

安装hadoop集群--hdfs 准备一台干净的虚拟机 \[root@hdp-01 ~\]\ vi /etc/sysconfig/network-scripts/ifc

╰半橙微兮°/ 2021年11月29日 12:44/ 0 赞/ 385 阅读

相关 HDFS集群扩容节点

在企业中，经常需要根据业务的发展对HDFS集群进行节点扩容。比如我们要添加一个新DataNode节点到集群中：新节点主机名:bigdata114

ゝ一世哀愁。/ 2021年10月23日 11:46/ 0 赞/ 391 阅读