再理解HDFS的存储机制

左手的ㄟ右手 2022-08-06 02:23 191阅读 0赞

**再理解HDFS的存储机制**

1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；

2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块（Block）中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；

3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，**一个集群中会有一个NameNode和多个DataNode共同工作；**

4. **NameNode是集群的主服务器**，主要是用于对HDFS中所有的文件及内容数据进行维护，并不断读取记录集群中DataNode主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储；

5. **DataNode在HDFS集群中担任任务具体执行角色**，是集群的工作节点。文件被分成若干个相同大小的数据块，分别存储在若干个DataNode上，DataNode会定期向集群内NameNode发送自己的运行状态与存储内容，并根据NameNode发送的指令进行工作；

6. NameNode负责接受客户端发送过来的信息，然后将文件存储位置信息发送给提交请求的客户端，由客户端直接与DataNode进行联系，从而进行部分文件的运算与操作。

**7. Block是HDFS的基本存储单元，默认大小是64M；**

8. HDFS还可以对已经存储的Block进行多副本备份，将**每个Block至少复制到3个相互独立的硬件上，这样可以快速恢复损坏的数据；**

9. 用户可以使用既定的API接口对HDFS中的文件进行操作；

**10. 当客户端的读取操作发生错误的时候，客户端会向NameNode报告错误，并请求NameNode排除错误的DataNode后后重新根据距离排序，从而获得一个新的DataNode的读取路径。如果所有的DataNode都报告读取失败，那么整个任务就读取失败；**

**11. 对于写出操作过程中出现的问题，FSDataOutputStream并不会立即关闭。客户端向NameNode报告错误信息，并直接向提供备份的DataNode中写入数据。备份DataNode被升级为首选DataNode，并在其余2个DataNode中备份复制数据。NameNode对错误的DataNode进行标记以便后续对其进行处理。**

发表评论取消回复

表情：

评论列表（有 0 条评论，191人围观）

还没有评论，来说两句吧...

相关阅读

相关 hdfs的异构存储

文章目录 1 背景 2 hdfs异构存储类型和存储策略 2.1 hdfs支持的存储类型 2.2 hdfs如何知道数据存储目录是那种存

墨蓝/ 2024年03月25日 20:15/ 0 赞/ 74 阅读

相关 HDFS运行机制

目录 NameNode DataNode SecondaryNameNode Client HDFS文件上传 HDFS文件下载 ----------------

快来打我*/ 2023年01月17日 08:55/ 0 赞/ 5 阅读

相关 Hadoop中HDFS的存储机制

Hadoop中HDFS的存储机制 HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处

系统管理员/ 2022年08月14日 04:49/ 0 赞/ 276 阅读

相关再理解HDFS的存储机制

再理解HDFS的存储机制 1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放； 2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块

左手的ㄟ右手/ 2022年08月06日 02:23/ 0 赞/ 192 阅读

相关 HDFS文件存储组织

1、作为一个分布式文件系统，HDFS内部的数据和文件存储机制、读写过程与普通的本地文件系统有较大的差别。 2、文件数据的存储组织 ①HDFS中最主要的部分就是NameNod

雨点打透心脏的1/2处/ 2022年07月24日 10:25/ 0 赞/ 211 阅读

相关深刻理解HDFS工作机制

[深刻理解HDFS工作机制][HDFS] http://www.cnblogs.com/wxisme/p/6270860.html 　深入理解一个技

r囧r小猫/ 2022年06月13日 05:58/ 0 赞/ 204 阅读

相关 Hadoop系列-深刻理解HDFS工作机制（五）

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现

骑猪看日落/ 2022年06月13日 03:39/ 0 赞/ 235 阅读

相关 HDFS工作机制

两大角色： DataNode：负责管理用户的文件数据块 NameNode：负责管理整个文件系统的元数据 NameNode的工作机制职责： 1）客户端请求的

小鱼儿/ 2022年06月07日 10:09/ 0 赞/ 181 阅读

相关 Hadoop中的HDFS的存储机制

Hadoop中HDFS的存储机制 HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储[系统][Link 1]，是基于

心已赠人/ 2022年06月03日 06:10/ 0 赞/ 214 阅读

相关 Hadoop（一） HDFS的存储机制

HDFS的写入数据流程 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZ

分手后的思念是犯贱/ 2022年01月26日 15:49/ 0 赞/ 260 阅读