HDFS中的数据存储路径——StorageDirectory

梦里梦外; 2022-06-16 09:18 676阅读 0赞

在HDFS中，无论是NameNode节点还是DataNode节点都需要使用它们所在的本地文件系统来存储与自己相关的数据，如：NameNode节点存储系统命名空间的元数据，DataNode节点存储文件的数据块数据。对于NameNode节点或是DataNode节点，我们多可以为它们配置多个本地文件系统的存储路径，不同的是，NameNode节点中的所有存储路径存储的数据基本上是一样的，而DataNode节点中的存储路径会分别存储不同的文件数据块。HDFS对节点存储路径的实现被抽象成了一个StorageDirectory类。

StorageDirectory类主要包含三个属性：

![0_1325318616E06E.gif][]

root：节点存储目录所在本地文件系统的目录；

lock：排它锁，同步控制节点对该存储目录的操作；

dirType：存储路径所属的节点类型(NameNode/DataNode)；

无论是NameNode节点还是DataNode节点，StorageDirectory都会把它们出过来的数据保存到自己的子目录current/下，同时为了保证数据的一致性，在子目录current/下都会有一个版本文件VERSION。但是，NameNode节点和DataNode节点的存储目录下的版本文件VERSION的内容有一点不同，如

NameNode存储目录的版本文件：

![0_1325319210rK9E.gif][]

DataNode存储目录的版本文件：

![0_1325319565RxUZ.gif][]

在HDFS集群中，每一个DataNode节点的每一个存储路径的namespaceID必须与NameNode节点的namespaceID保持一致，否则该DataNode节点将中止启动，NameNode节点的namespaceID在它format是生成，也就是说NameNode节点没格式化一次，就会产生一个新的namespaceID。另外，storageID是DataNode节点向NameNode节点第一次注册时，NameNode为它分配的一个分布式存储器标识，一个DataNode节点中所有存储路径的storageID是一样的。当然，NameNode和DataNode的存储路径中存储的数据文件也是不一样的。

NameNode存储目录current/中的文件包括：

![0_1325320644a5Go.gif][]

DataNode存储目录current/中的文件包括：

![0_132532075255WN.gif][]

StorageDirectory除了提供保存节点数据的功能外，还提供了对存储数据的粗粒度事务操作如：备份/恢复/提交等。那么，StorageDirectory是如何实现这些事务性操作的呢？

![0_1325328165R8wb.gif][]

通过上面操作流程图，对于存储路径中的数据的备份(升级)/恢复/提交操作可以说是一目了然，但是还有一个问题就是当节点在执行上面操作的某一个过程中突然宕机了，那么这个节点在下一次启动如何进行恢复上一次的中断操作呢？其实，StorageDirectory在在恢复它存储的数据之前会先分析自己所出的状态(analyzeStorage()方法)，然后根据自己当前作出的状态来执行相应的恢复操作(doRecover()方法)。这个分析过程及对应的恢复操作如下：

![0_13253295291RRO.gif][]

[0_1325318616E06E.gif]: /images/20220616/22b49e9027d44b14b6236a22c7e77f02.png
[0_1325319210rK9E.gif]: /images/20220616/43652e9362884787bb2b2216f4df4bbf.png
[0_1325319565RxUZ.gif]: /images/20220616/1c0901d4132547e89e00f9f045a3982d.png
[0_1325320644a5Go.gif]: /images/20220616/42b4d3cef5d94ed99e2d921b93631491.png
[0_132532075255WN.gif]: /images/20220616/e34fb32350074818aef09c7d722ba544.png
[0_1325328165R8wb.gif]: /images/20220616/e06af6bbaa5041f48502eb0585b51fa6.png
[0_13253295291RRO.gif]: /images/20220616/5488a7830fb145dab32cc7d37e1d89c4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，676人围观）

还没有评论，来说两句吧...

相关阅读

相关 PostgreSQL 修改数据存储路径

一、背景说明使用的 PostgreSQL 版本是 14.X 版本的。实际项目部署过程中，数据库的数据有时候被要求保留5-10年，甚至更久。随着数据量的增大，磁盘占用

清疚/ 2024年03月25日 22:36/ 0 赞/ 17 阅读

相关 InfluxDB 修改数据存储路径

1、创建数据存储目录 mkdir -p /home/data/influxdb > 说明：目录可以根据实际情况进行修改。 2、设置目录访问权限

曾经终败给现在/ 2024年03月24日 18:04/ 0 赞/ 18 阅读

相关 HDFS的存储原理

1、存储原理 1.1、HDFS分布式文件存储将文件分为集群节点的部分数，分别存入每个节点中。 ![在这里插入图片描述][3499c48cb17441a9900

快来打我*/ 2024年03月03日 09:06/ 0 赞/ 35 阅读

相关 hdfs 数据迁移_HDFS-Tiering 数据分层存储

1. 背景随着小米业务迅猛发展，存储到 HDFS 集群的数据量不断增大，存储成本也不断攀升。尤其是海外 HDFS 集群每 GB 数据的成本是国内集群的 10 倍左右，如何优

左手的ㄟ右手/ 2023年01月01日 10:59/ 0 赞/ 94 阅读

相关 (9)hdfs 数据存储与切分

在Hadoop中数据的存储是由HDFS负责的，HDFS是Hadoop分布式计算的存储基石，Hadoop的分布式文件系统和其他分布式文件系统有很多类似的特质。那么HDFS相比于其

悠悠/ 2022年09月29日 04:23/ 0 赞/ 139 阅读

相关 HDFS：从RAID到HDFS，看大数据存储王者的诞生

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

迷南。/ 2022年09月05日 00:05/ 0 赞/ 240 阅读

相关 Hadoop中HDFS的存储机制

Hadoop中HDFS的存储机制 HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处

系统管理员/ 2022年08月14日 04:49/ 0 赞/ 220 阅读

相关 HDFS中的数据存储路径——StorageDirectory

在HDFS中，无论是NameNode节点还是DataNode节点都需要使用它们所在的本地文件系统来存储与自己相关的数据，如：NameNode节点存储系统命名空间的

梦里梦外;/ 2022年06月16日 09:18/ 0 赞/ 677 阅读

相关 Hadoop中的HDFS的存储机制

Hadoop中HDFS的存储机制 HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储[系统][Link 1]，是基于

心已赠人/ 2022年06月03日 06:10/ 0 赞/ 171 阅读

相关 HDFS中的内存存储支持

因工作中olap场景中对性能的极致要求，我们将部分业务数据的hdfs路径的存储策略设置为放在内存中(RAM\_DISK)中，这是在hadoop2.6以后的版本支持的。抽空翻译了

短命女/ 2022年03月28日 07:46/ 0 赞/ 141 阅读