[hadoop] hadoop-ha中由谁来合并fsimage和edits

港控/mmm° 2023-06-13 04:49 113阅读 0赞

大家都知道,在hadoop1.x中由SecondaryName负责fsimage和edits文件的合并,但是由于SecondaryName不支持namenode的热备份,会造成hdfs的单点故障问题,在hadoop2.x中已被弃用.

**那么在hadoop2.x中的hadoop-ha由谁来合并fsimage和edits呢?**  
**答案是StandybyNameNode.**

1 首先edits文件会同步到JournalNodes节点的共享目录,StandbyNameNode同步edits文件到自己的目录中.  
2 完成一定的操作数或者经过一定的时间后(具体值可以配置),StandbyNameNode节点会触发其上CheckpointerThread线程的checkpoint操作,**合并fsimage和edits文件**.  
3 合并完成得到新得fsimage文件会被上传到ActiveNameNode相应目录,并清理掉旧的fsimage和edits文件.

至此,合并结束.

### 附录: ###

CheckPoint条件设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。

[hdfs-default.xml]
    
    <property>
      <name>dfs.namenode.checkpoint.period</name>
      <value>3600</value>
    </property>

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次checkpoint操作。

[hdfs-default.xml]
    
    <property>
      <name>dfs.namenode.checkpoint.txns</name>
      <value>1000000</value>
    <description>操作动作次数</description>
    </property>
    
    <property>
      <name>dfs.namenode.checkpoint.check.period</name>
      <value>60</value>
    <description> 1分钟检查一次操作次数</description>
    </property >

发表评论取消回复

表情：

评论列表（有 0 条评论，113人围观）

还没有评论，来说两句吧...

相关阅读

相关 fsimage和edit的区别

fsimage保存了最新的元数据检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息。 edits保存自最新检查点后的命名空间的变化，文件系统客户端执

分手后的思念是犯贱/ 2023年10月14日 12:00/ 0 赞/ 21 阅读

相关【Hadoop】Hadoop生态系列之搭建HadoopHA集群

上一篇：[Hadoop生态系列之MapReduce Shuffle概述及常见问题][Hadoop_MapReduce Shuffle] 指路牌 Hadoop

野性酷女/ 2023年10月05日 11:24/ 0 赞/ 19 阅读

相关 [hadoop] hadoop-ha中由谁来合并fsimage和edits

大家都知道,在hadoop1.x中由SecondaryName负责fsimage和edits文件的合并,但是由于SecondaryName不支持namenode的热备份,会造成

港控/mmm°/ 2023年06月13日 04:49/ 0 赞/ 114 阅读

相关 fsimage,edits ,SNN介绍

fsimage：命名空间镜像文件,不及时更新,存储多个NameNode信息。（一个文件一个NameNode）把文件和目录的元数据信息持久化地存储到fsimage文件中

谁践踏了优雅/ 2022年12月27日 04:55/ 0 赞/ 147 阅读

相关查看HDFS的元数据文件fsimage和编辑日志edits

本文接着介绍查看edits文件的方法。 HDFS查看edits 命令hdfs oev用于查看edits文件。 ![edits][] 该命令需要以下参数: 必须参数

电玩女神/ 2022年08月28日 13:58/ 0 赞/ 141 阅读

相关 Hadoop2 HA模式下的FSImage和EditsLog合并过程

一、什么是FSImage和EditsLog 　　我们知道HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节

深碍√TFBOYSˉ_/ 2022年05月27日 07:26/ 0 赞/ 336 阅读

相关 SecondaryNameNode合并Fsimage与Edits的CheckPoint设置

SecondaryNameNode合并Fsimage与Edits的CheckPoint设置在hdfs-default.xml设置在hdfs-default.

布满荆棘的人生/ 2022年04月10日 04:29/ 0 赞/ 172 阅读

相关 NameNode中的Fsimage和Edits解析

NameNode中的Fsimage和Edits解析 1.NameNode 的元数据信息究竟在哪里存储着呢？ 2.每个文件都有什么作用呢？ 3.VERSI

骑猪看日落/ 2022年04月10日 03:19/ 0 赞/ 221 阅读

相关镜像文件(fsimage)和编辑日志(Edits)介绍

一、查看日志镜像文件内容 > 1）镜像文件的作用 > > 通过查看上面的xml文件,可以知道镜像文件实际是存放的目录结构、文件属性等相关信息。另外也可以看到MD5校验

深碍√TFBOYSˉ_/ 2022年03月21日 15:36/ 0 赞/ 598 阅读

相关 hadoop-hdfs-fsimage与edits合并

1.x 模型 ![1604514-20190503005557669-259509526.png][] ![1604514-20190503011553093-58394

逃离我推掉我的手/ 2021年12月20日 12:53/ 0 赞/ 170 阅读