HDFS存储架构

太过爱你忘了你带给我的痛 2023-10-07 16:29 38阅读 0赞

HDFS是一个分布式的文件系统，相比普通的文件系统来说更加复杂，因此在学习HDFS的操作之前有必要先来学习一下HDFS的存储架构。如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FhMTEyMjMzYUEx_size_16_color_FFFFFF_t_70]  
从图中可以看出：HDFS采用主从架构（Master/Slave架构）。HDFS集群分别是由一个NameNode和多个的 DataNode组成。其中，NameNode是HDFS集群的主节点，负责管理文件系统的命名空间以及客户端对文件的访问；DataNode是集群的从节点，负责管理它所在节点上的数据存储。HDFS分布式文件系统中的NameNode和DataNode两种角色各司其职，共同协调完成分布式的文件存储服务。

那么，NameNode是如何管理分布式文件系统的命名空间呢？其实，在NameNode内部是以元数据的形式，维护着两个文件，分别是FsImage镜像文件和EditLog日志文件。其中，FsImage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。当NameNode启动的时候，FsImage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的操作，以确保内存所保留的数据处于最新的状态，这样就加快了元数据的读取和更新操作。

随着集群运行时间长，NameNode中存储的元数据信息越来越多，这样就会导致EditLog日志文件越来越大。当集群重启时，NameNode需要恢复元数据信息，首先加载上一次的FsImage镜像文件，然后在重复EditLog日志文件的操作记录，一旦EditLog日志文件很大，在合并的过程中就会花费很长时间，而且如果NameNode宕机就会丢失数据。为了解决这个问题，HDFS中提供了Secondary NameNode（辅助名称节点），它并不是要取代掉NameNode也不是NameNode的备份， 它的职责主要是是周期性的把NameNode中的EditLog日志文件合并到FsImage镜像文件中，从而减小EditLog日志文件的大小，缩短集群重启时间，并且也保证了HDFS系统的完整性。

Namenode存储的是元数据信息，元数据信息并不是真正的数据，真正的数据是存储在DataNode中。DataNode是负责管理它所在节点上的数据存储。DataNode中的数据块是以文件的类型存储在磁盘中，其中包含两个文件，一是数据本身（仅数据），二是每个数据块对应的一个元数据文件（包括数据长度，块数据校验和，以及时间戳）。

[大数据入门全套教程][Link 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FhMTEyMjMzYUEx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210602170453356.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FhMTEyMjMzYUEx,size_16,color_FFFFFF,t_70
[Link 1]: https://www.bilibili.com/video/BV11N411d7Zh

发表评论取消回复

表情：

评论列表（有 0 条评论，38人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS存储架构

HDFS是一个分布式的文件系统，相比普通的文件系统来说更加复杂，因此在学习HDFS的操作之前有必要先来学习一下HDFS的存储架构。如下图所示： ![在这里插入图片描述][w

太过爱你忘了你带给我的痛/ 2023年10月07日 16:29/ 0 赞/ 39 阅读

相关 HDFS架构

![615800-20160410194709656-653161719.jpg][] 　　HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成

朴灿烈づ我的快乐病毒、/ 2023年08月17日 15:19/ 0 赞/ 106 阅读

相关 HDFS体系架构

体系架构 NameNode HDFS主节点、管理员接收客户端（命令行、Java程序）的请求：创建目录、上传、下载、删除数据

阳光穿透心脏的1/2处/ 2022年12月14日 13:50/ 0 赞/ 196 阅读

相关 Hadoop——HDFS文件存储

目录添加Hadoop依赖 HDFS操作工具类 FileSystem的缓存机制缓存模式非缓存模式 -------------------- Hadoop中

朴灿烈づ我的快乐病毒、/ 2022年11月02日 11:57/ 0 赞/ 143 阅读

相关 HDFS架构（ HDFS Architecture）

HDFS架构介绍 Hadoop分布式文件系统（HDFS）是一个运行在普通商用服务器上的分布式文件系统。他和很多的分布式文件系统类似，但是也有很显著的不同。HDFS

迈不过友情╰/ 2022年08月17日 15:11/ 0 赞/ 246 阅读

相关 HDFS文件存储组织

1、作为一个分布式文件系统，HDFS内部的数据和文件存储机制、读写过程与普通的本地文件系统有较大的差别。 2、文件数据的存储组织 ①HDFS中最主要的部分就是NameNod

雨点打透心脏的1/2处/ 2022年07月24日 10:25/ 0 赞/ 201 阅读

相关 hdfs架构分析

hdfs介绍 hadoop的分布式文件系统hdfs是依据谷歌的GFS论文来实现的，它是一个被设计成为运行在廉价的通用硬件之上，具有容错性的文件系统。hdfs的设计使得它能够提

比眉伴天荒/ 2022年07月03日 17:56/ 0 赞/ 245 阅读

相关 02HDFS架构

[https://www.cnblogs.com/zhoujingyu/p/5040957.html][https_www.cnblogs.com_zhoujingyu_p_5

╰+攻爆jí腚メ/ 2022年01月09日 04:09/ 0 赞/ 169 阅读

相关 HDFS体系架构

HDFS: Hadoop Distributed File System 简称为:HDFS (hadoop 分布式文件系统)

痛定思痛。/ 2021年10月23日 11:48/ 0 赞/ 415 阅读

相关 HDFS 架构

前段时间搭建了一套Hadoop集群的测试环境，因为服务器故障，废了。这几天闲来无事，想着把Storm用Yarn管理起来，于是再来一遍，同时也梳理下Hadoop组件中的一些概念。

落日映苍穹つ/ 2021年09月26日 05:54/ 0 赞/ 414 阅读