HDFS架构、组件【重要】

偏执的太偏执、 2023-10-14 11:58 68阅读 0赞

HDFS是分布式文件系统，它默认的存储单元是128MB的数据块（hadoop1.x为64MB）。

**HDFS架构：**

**HDFS的体系框架是Master-Slave主备结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成，但是为备份元数据，一般还有一个secondary namenode**  (HA模式没有，standby namenode 代替secondary namenode)。

1.   **Client**   ：客户端

*  会切分文件。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行存储。
 *  与NameNode交互，获取文件的位置信息。
 *  与DataNode交互，读取或者写入数据。
 *  Client提供一些命令来管理HDFS，比如启动关闭HDFS、访问HDFS目录及内容等

2.   **NameNode**   ：名称节点，也称主节点

*  整个hadoop集群中只有一个namenode，它是整个系统的“总管”，用来管理  数据的元数据信息，不存储具体的数据。 
 *  配置副本策略，Namenode负责监控各个DataNode的健康状态，一旦发现某个DataNode宕掉，则将该DataNode移出HDFS并重新备份其上面的数据。
 *  处理客户端读写请求。

3.   **DataNode**   ：数据节点，也称从节点。NameNode下达命令，DataNode执行实际的操作

*  datanode是真正存储数据的地方，存储实际的数据块。
 *  执行数据块的读写操作。

4.   **Secondary NameNode**   ：  secondary namenode用来辅助namenode，但并不是namenode的热备，宕机时不能代替namenode进行工作。（测试环境用secondary namenode，生产环境用集群高可用）

*  辅助NameNode，分担其工作量
 *  定期地将namenode的fsimage 和 Edits文件进行合并，并传输给NameNode，防止日志文件过大。
 *  合并之后的fsimage 会在secondary namenode 中保存一份，当namenode节点挂掉时可辅助恢复NameNode。

**相关问题：**

**1.Secondary NameNode工作机制**

SecondaryNameNode是HDFS分布式文件系统中的一个辅助组件，它的主要作用是定期合并Fsimage和Edits文件，  当NameNode发生故障时，Secondary NameNode 可以将从NameNode中下载的最新的FSimage 和 Edits文件合并到本地，来保证HDFS元数据的一致性和完整性。

SecondaryNameNode的工作机制包括以下几个方面：

1.接收NameNode的checkpoint请求：

SecondaryNameNode会接收来自NameNode的checkpoint请求，并向NameNode发送checkpoint请求。在这个过程中，SecondaryNameNode会对NameNode的edits日志进行回滚，以保证元数据的一致性和完整性。

2.定期合并Fsimage和Edits文件：

SecondaryNameNode会定期地从NameNode下载最新的Fsimage和Edits文件，并将它们合并到本地。在这个过程中，SecondaryNameNode会检查Fsimage和Edits文件的一致性和完整性，并将任何缺失的数据从NameNode下载到本地。

**2. NN和2NN有什么区别？**

NameNode是整个集群的“大脑”，需要处理大量的元数据操作和查询请求，维护整个分布式文件系统的命名空间和元数据信息。

Secondary NameNode是NameNode的一个辅助组件，并不是NameNode的备份结点，无法代替NameNode的工作。它的主要作用是定期合并FSimage 和 Edits文件，当NameNode发生故障时，Secondary NameNode 可以将从NameNode中下载的最新的FSimage 和 Edits文件合并到本地，来保证HDFS元数据的一致性和完整性。

因此，NameNode和Secondary NameNode的主要区别在于它们的职责和作用。NameNode负责管理文件系统的元数据和文件信息，而SecondaryNameNode主要用于定期合并FsImage 和 Edits文件，来保证HDFS元数据的一致性和完整性。

**3.secondary namenode什么时候拉取namenode的数据进行合并**

NameNode启动时会加载之前未合并的FSImage 和 Edits文件进行合并，之后SecondaryNameNode  **每隔一小时执行一次**  ，这个时间间隔可以通过参数自定义设置。

发表评论取消回复

表情：

评论列表（有 0 条评论，68人围观）

还没有评论，来说两句吧...

相关阅读

相关分布式系统中的其他重要架构组件

分布式系统中的其他重要架构组件其他基本的架构组件和概念服务注册与发现负载均衡高可用和容错消息队列

我会带着你远行/ 2024年03月17日 17:05/ 0 赞/ 36 阅读

相关 HDFS读数据流程【重要】

![up-9893a8fb6c431b9aca3fa02b450ba22329b.png][] Configuration conf = new Configurat

骑猪看日落/ 2023年10月14日 11:58/ 0 赞/ 62 阅读

相关 HDFS架构、组件【重要】

HDFS是分布式文件系统，它默认的存储单元是128MB的数据块（hadoop1.x为64MB）。 HDFS架构： HDFS的体系框架是Master-Slave主备结构

偏执的太偏执、/ 2023年10月14日 11:58/ 0 赞/ 69 阅读

相关 HDFS架构

![615800-20160410194709656-653161719.jpg][] 　　HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成

朴灿烈づ我的快乐病毒、/ 2023年08月17日 15:19/ 0 赞/ 136 阅读

相关 HDFS体系架构

体系架构 NameNode HDFS主节点、管理员接收客户端（命令行、Java程序）的请求：创建目录、上传、下载、删除数据

阳光穿透心脏的1/2处/ 2022年12月14日 13:50/ 0 赞/ 229 阅读

相关 HDFS架构（ HDFS Architecture）

HDFS架构介绍 Hadoop分布式文件系统（HDFS）是一个运行在普通商用服务器上的分布式文件系统。他和很多的分布式文件系统类似，但是也有很显著的不同。HDFS

迈不过友情╰/ 2022年08月17日 15:11/ 0 赞/ 275 阅读

相关 hdfs架构分析

hdfs介绍 hadoop的分布式文件系统hdfs是依据谷歌的GFS论文来实现的，它是一个被设计成为运行在廉价的通用硬件之上，具有容错性的文件系统。hdfs的设计使得它能够提

比眉伴天荒/ 2022年07月03日 17:56/ 0 赞/ 266 阅读

相关 SpringMVC重要组件

1 DispatchServlet：前端控制器，接收所有请求（如果配置“/”，则不包括jsp） 2 HandlerMapping：解析请求格式，判断希望执行那个具体的方法

秒速五厘米/ 2022年05月08日 08:26/ 0 赞/ 200 阅读

相关 HDFS体系架构

HDFS: Hadoop Distributed File System 简称为:HDFS (hadoop 分布式文件系统)

痛定思痛。/ 2021年10月23日 11:48/ 0 赞/ 445 阅读

相关 HDFS 架构

前段时间搭建了一套Hadoop集群的测试环境，因为服务器故障，废了。这几天闲来无事，想着把Storm用Yarn管理起来，于是再来一遍，同时也梳理下Hadoop组件中的一些概念。

落日映苍穹つ/ 2021年09月26日 05:54/ 0 赞/ 441 阅读