HDFS：NameNode和2NN工作原理分析

浅浅的花香味﹌ 2022-09-09 04:37 138阅读 0赞

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAYXJvbmcyMDQ4_size_20_color_FFFFFF_t_70_g_se_x_16]

### 文章目录 ###

*   *  1.为什么需要2NN
     *  2.FsImage和Edits文件
     *  3.NameNode与2NN如何工作

> 在HDFS的组成中，最重要的两个核心进程分别为NameNode和DataNode，NameNode负责存储元数据信息，而DataNode则用于存放数据，而另一个进程被称为2NN（Secondary NameNode），它的作用在于辅助NameNode做日志合并，防止元数据丢失。

## 1.为什么需要2NN ##

首先要了解NameNode的工作机制，NameNode作为整个HDFS集群的管理者，会保存所有DataNode数据元信息，这些元数据如果只存储在内存中的话，数据的读写将会较低效，所以为了提升读写效率，NameNode会将这些元数据存储在内存中，通过对内存的读写来优化读写效率，一个数据块Block会占据150KB的元数据空间（这也是为什么HDFS不推荐存储大量小文件的原因，因为Block过多，会导致NameNode内存溢出）。

NameNode的元数据组成为：\{文件名,副本数,BlockId\}。通过这个三元组即可找到对应的数据块存储在DataNode的哪个位置。

![不支持在 Docs 外粘贴 block][Docs _ block]

如果NameNode仅仅使用内存来存储元数据的话，那么当服务器重启时内存信息都会丢失，所以必须还进行落盘持久化，NameNode把内存中的元数据进行持久化并落入磁盘中的备份数据被称为FsImage。

## 2.FsImage和Edits文件 ##

FsImage是NameNode内存元数据进行序列化后的备份数据，它包含了所有HDFS系统中的所有目录文件以及文件idode信息，而Edits文件则是用于增量记录更新操作路径，当客户端进行写操作时，首先会记录下Edits文件，FsImage和Edits文件可以通过oiv和oev命令反序列化成xml格式进行查看：

FsImage文件:

<inode>
            <id>16386</id>
            <type>DIRECTORY</type>
            <name>user</name>
            <mtime>1512722284477</mtime>
            <permission>xxx:supergroup:rwxr-xr-x</permission>
            <nsquota>-1</nsquota>
            <dsquota>-1</dsquota>
    </inode>
    <inode>
            <id>16387</id>
            <type>DIRECTORY</type>
            <name>atguigu</name>
            <mtime>1512790549080</mtime>
            <permission>xxx:supergroup:rwxr-xr-x</permission>
            <nsquota>-1</nsquota>
            <dsquota>-1</dsquota>
    </inode>
    <inode>
            <id>16389</id>
            <type>FILE</type>
            <name>wc.input</name>
            <replication>3</replication>
            <mtime>1512722322219</mtime>
            <atime>1512722321610</atime>
            <perferredBlockSize>134217728</perferredBlockSize>
            <permission>xxx:supergroup:rw-r--r--</permission>
            <blocks>
                    <block>
                            <id>1073741825</id>
                            <genstamp>1001</genstamp>
                            <numBytes>59</numBytes>
                    </block>
            </blocks>
    </inode >

Edits文件：

<?xml version="1.0" encoding="UTF-8"?>
    <EDITS>
            <EDITS_VERSION>-63</EDITS_VERSION>
            <RECORD>
                    <OPCODE>OP_ADD</OPCODE>
                    <DATA>
                            <TXID>130</TXID>
                            <LENGTH>0</LENGTH>
                            <INODEID>16407</INODEID>
                            <PATH>/hello7.txt</PATH>
                            <REPLICATION>2</REPLICATION>
                            <MTIME>1512943607866</MTIME>
                            <ATIME>1512943607866</ATIME>
                            <BLOCKSIZE>134217728</BLOCKSIZE>
                            <CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>
                            <CLIENT_MACHINE>192.168.1.10</CLIENT_MACHINE>
                            <OVERWRITE>true</OVERWRITE>
                            <PERMISSION_STATUS>
                                    <USERNAME>xxx</USERNAME>
                                    <GROUPNAME>supergroup</GROUPNAME>
                                    <MODE>420</MODE>
                            </PERMISSION_STATUS>
                            <RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID>
                            <RPC_CALLID>0</RPC_CALLID>
                    </DATA>
            </RECORD>
            <RECORD>
                    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
                    <DATA>
                            <TXID>131</TXID>
                            <BLOCK_ID>1073741839</BLOCK_ID>
                    </DATA>
            </RECORD>
            <RECORD>
                    <OPCODE>OP_CLOSE</OPCODE>
                    <DATA>
                            <TXID>134</TXID>
                            <LENGTH>0</LENGTH>
                            <INODEID>0</INODEID>
                            <PATH>/hello7.txt</PATH>
                            <REPLICATION>2</REPLICATION>
                            <MTIME>1512943608761</MTIME>
                            <ATIME>1512943607866</ATIME>
                            <BLOCKSIZE>134217728</BLOCKSIZE>
                            <CLIENT_NAME></CLIENT_NAME>
                            <CLIENT_MACHINE></CLIENT_MACHINE>
                            <OVERWRITE>false</OVERWRITE>
                            <BLOCK>
                                    <BLOCK_ID>1073741839</BLOCK_ID>
                                    <NUM_BYTES>25</NUM_BYTES>
                                    <GENSTAMP>1016</GENSTAMP>
                            </BLOCK>
                            <PERMISSION_STATUS>
                                    <USERNAME>xxx</USERNAME>
                                    <GROUPNAME>supergroup</GROUPNAME>
                                    <MODE>420</MODE>
                            </PERMISSION_STATUS>
                    </DATA>
            </RECORD>
    </EDITS >

所以NameNode通过增量追加Edits操作记录合并写入FsImage的方式进行元数据的备份：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAYXJvbmcyMDQ4_size_20_color_FFFFFF_t_70_g_se_x_16 1]

## 3.NameNode与2NN如何工作 ##

通过FsImage和Edits的备份机制，就可以解决NameNode内存元数据丢失的问题了，那为什么还需要2NN呢？

Edits文件需要和FsImage合并，但是谁来合并这份数据呢？如果是NameNode自身来合并数据的话，会耗费时间，并且为了保证数据尽量不丢失，需要进行定时的合并。

所以2NN的作用就是进行辅助NameNode定期去合并Edits和FsImage文件，以使得系统挂掉时能够少丢数据，当NameNode再次启动，直接读取少量的本地尚未合并的Edits信息和已经由2NN同步完成的FsImage文件加载到内存中，就完成宕机重启数据恢复的过程：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAYXJvbmcyMDQ4_size_20_color_FFFFFF_t_70_g_se_x_16 2]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAYXJvbmcyMDQ4_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/fde110a53b07442fbbab9c7210d8b13f.png
[Docs _ block]: /images/20220829/59225409c6434983bfb120f45a4f3b76.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAYXJvbmcyMDQ4_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/54943f2e859941b2ba8e9c09c0b50c24.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAYXJvbmcyMDQ4_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/8d27aecb7fb64fdeacac34a82941b198.png

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop-HDFS-详细解析NN和2NN工作原理，NN故障处理，NN多目录，集群安全模式-连载中

NameNode和SecondaryNameNode 文章目录 NameNode和SecondaryNameNode 1 NN和2NN工作机制

女爷i/ 2023年03月01日 08:38/ 0 赞/ 25 阅读

相关 Conv2dStaticsSamePadding(nn.Conv2d)和 Conv2dDynamicSamePadding(nn.Conv2d)

EfficenrNet代码中（torch），出现了两个函数，Conv2dStaticsSamePadding(nn.Conv2d)和 Conv2dDynamicSamePadd

一时失言乱红尘/ 2022年12月27日 11:09/ 0 赞/ 99 阅读

相关解释Hadoop中2NN工作机制？

2NN主要操作：大致流程 a.将NN机器对应磁盘上的fsimage 和 Edits文件拉取到2NN的机器中 b.在2NN的机器中将fsimage +

￡神魔★判官ぃ/ 2022年11月20日 09:47/ 0 赞/ 149 阅读

相关 HDFS：NameNode和2NN工作原理分析

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAYXJvbmcyMDQ4_

浅浅的花香味﹌/ 2022年09月09日 04:37/ 0 赞/ 139 阅读

相关 struts2的核心和工作原理

在学习struts2之前，首先我们要明白使用struts2的目的是什么？它能给我们带来什么样的好处？设计目标 Struts设计的第一目标就是使MVC模式应用于web程

港控/mmm°/ 2022年07月13日 11:19/ 0 赞/ 143 阅读

相关三十八、一致性模型和nn、2nn工作机制

一致性模型 1、一致性模型 @Test publ

亦凉/ 2022年05月09日 13:00/ 0 赞/ 138 阅读

相关 SpringMVC 工作原理分析

最近想深入了解一下SpringMVC的工作原理，在网上找到一篇特别好的博客，在此保存记录，方便查阅。特别申明，此博客转自：[https://www.cnblogs.com/

淩亂°似流年/ 2022年03月14日 09:58/ 0 赞/ 251 阅读

相关 MultiDex工作原理分析和优化方案

动态加载技术（插件化）系列已经坑了有一段时间了，不过UP主我并没有放弃治疗哈，相信在不就的未来就可以看到“系统Api Hook模式”和插件化框架Frontia的更新了。今天要讲

悠悠/ 2022年02月22日 08:07/ 0 赞/ 277 阅读

相关 struts2的核心和工作原理

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 设计目标 Struts设计的第一目标就是使MVC模

缺乏、安全感/ 2022年01月16日 13:19/ 0 赞/ 205 阅读

相关 Elasticsearch基础概念和工作原理分析

一、Elasticsearch与Apache Lucene对比 1、Elasticsearch 优点： 1. 对Lucence的封装，完全支持 Apache

叁歲伎倆/ 2021年12月03日 23:51/ 0 赞/ 431 阅读