JournalNode的作用

朴灿烈づ我的快乐病毒、 2023-01-21 02:16 141阅读 0赞

## JournalNode的作用 ##

NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））

两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70_pic_center]  
上面在Active Namenode与StandBy Namenode之间的绿色区域就是JournalNode,当然数量不一定只有1个,作用相当于NFS共享文件系统.Active Namenode往里写editlog数据,StandBy再从里面读取数据进行同步.

Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作

hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。

这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过Nnetwork File System或者Quorum Journal Node。前者是通过linux共享的文件系统，属于操作系统的配置；后者是hadoop自身的东西，属于软件的配置。

我们这里讲述使用Quorum Journal Node的配置方式，方式是手工切换。

集群启动时，可以同时启动2个NameNode。这些NameNode只有一个是active的，另一个属于standby状态。active状态意味着提供服务，standby状态意味着处于休眠状态，只进行数据同步，时刻准备着提供服务，如图2所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70_pic_center 1]

## 架构 ##

在一个典型的HA集群中，每个NameNode是一台独立的服务器。在任一时刻，只有一个NameNode处于active状态，另一个处于standby状态。其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换。

两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了，如图3所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70_pic_center 2]  
为了确保快速切换，standby状态的NameNode有必要知道集群中所有数据块的位置。为了做到这点，所有的datanodes必须配置两个NameNode的地址，发送数据块位置信息和心跳给他们两个。

对于HA集群而言，确保同一时刻只有一个NameNode处于active状态是至关重要的。否则，两个NameNode的数据状态就会产生分歧，可能丢失数据，或者产生错误的结果。为了保证这点，JNs必须确保同一时刻只有一个NameNode可以向自己写数据。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70_pic_center]: /images/20221021/d07581fefef148e9bd29b6ccaa34bec1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221021/d844bbe8c067449d88df222e2a03e75a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221021/d8d2dc23065e432490ac025410f7be87.png

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关 JournalNode的作用

JournalNode的作用 NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称

朴灿烈づ我的快乐病毒、/ 2023年01月21日 02:16/ 0 赞/ 142 阅读

相关 flink项目namenode启动失败：Journal storage directory /tmp/hadoop/dfs/journalnode/hadoopha not formatted

在测试flink的HA时，把某个节点（部署了jobmanager和namenode）的节点reboot了，然后启动时发现namenode没有起来，报错大概如下： or

迷南。/ 2022年11月16日 05:59/ 0 赞/ 375 阅读

相关 JournalNode的作用

NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程

╰+哭是因爲堅強的太久メ/ 2022年10月16日 10:25/ 0 赞/ 17 阅读

相关上千生产节点的JournalNode下线，以及上线异常问题解决

背景：集群规模上千节点，5台JournalNode节点，现在因为需要维修，下线其中一台JournalNode进行维修。 1.JournalNode下线在

小鱼儿/ 2022年10月15日 00:47/ 0 赞/ 189 阅读

相关 ThreadPoolExecutor的作用

转jdk的原文 public class ThreadPoolExecutorextends AbstractExecutorService一个 ExecutorServic

港控/mmm°/ 2022年08月26日 15:21/ 0 赞/ 237 阅读

相关接口的作用

我在项目中大量使用接口，如果是多人合作项目更是不可少，举个例子：我要写一个打印程序，但是面临的问题是必须使用不同的打印机，有HP的，IBM的、Epsom的等等。但是

「爱情、让人受尽委屈。」/ 2022年08月06日 08:22/ 0 赞/ 230 阅读

相关 Hashcode的作用

关于Hashcode的作用　　总的来说，Java中的集合（Collection）有两类，一类是List，再有一类是Set。前者集合内的元素是有序的，元素可以重复；后者

谁践踏了优雅/ 2022年07月17日 16:14/ 0 赞/ 254 阅读

相关接口的作用

1、java 接口的作用 [http://blog.csdn.net/hack\_bug/article/details/7634737][http_blog.csdn.

àì夳堔傛蜴生んèń/ 2022年07月16日 15:48/ 0 赞/ 241 阅读

相关 indexOf()的作用

1、字符串使用 indexOf() 来定位字符串中某一个指定的字符首次出现的位置例如：var str="Hello, welcome to the unive

太过爱你忘了你带给我的痛/ 2022年07月13日 15:00/ 0 赞/ 191 阅读

相关 hashCode的作用

hashCode方法是在Object中定义的 Java中的集合（Collection）有两类，一类是List，再有一类是Set 前者集合内的

雨点打透心脏的1/2处/ 2022年05月09日 01:18/ 0 赞/ 254 阅读