Hadoop之NameNode和SecondaryNameNode工作机制详解

港控/mmm° 2022-01-21 07:09 266阅读 0赞

# Hadoop之NameNode和SecondaryNameNode工作机制详解 #

--------------------

1.  NN和2NN工作机制
2.  NN和2NN工作机制详解
3.  Fsimage和Edits解析
4.  checkpoint时间设置

--------------------

### 1. NN和2NN工作机制 ###

NN和2NN工作机制，如下图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]

1.  第一阶段：NameNode启动
    
    1.  第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
    2.  客户端对元数据进行增删改的请求。
    3.  NameNode记录操作日志，更新滚动日志。
    4.  NameNode在内存中对数据进行增删改查。
2.  第二阶段：Secondary NameNode工作
    
    1.  Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。
    2.  Secondary NameNode请求执行checkpoint。
    3.  NameNode滚动正在写的edits日志。
    4.  将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
    5.  Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
    6.  生成新的镜像文件fsimage.chkpoint。
    7.  拷贝fsimage.chkpoint到NameNode。
    8.  NameNode将fsimage.chkpoint重新命名成fsimage。

--------------------

### 2. NN和2NN工作机制详解 ###

1.  Fsimage：namenode内存中元数据序列化后形成的文件。
2.  Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。
3.  namenode启动时，先滚动edits并生成一个空的edits.inprogress，然后加载edits和fsimage到内存中，此时namenode内存就持有最新的元数据信息。client开始对namenode发送元数据的增删改查的请求，这些请求的操作首先会被记录的edits.inprogress中（查询元数据的操作不会被记录在edits中，因为查询操作不会更改元数据信息），如果此时namenode挂掉，重启后会从edits中读取元数据的信息。然后，namenode会在内存中执行元数据的增删改查的操作。
4.  由于edits中记录的操作会越来越多，edits文件会越来越大，导致namenode在启动加载edits时会很慢，所以需要对edits和fsimage进行合并（所谓合并，就是将edits和fsimage加载到内存中，照着edits中的操作一步步执行，最终形成新的fsimage）。secondarynamenode的作用就是帮助namenode进行edits和fsimage的合并工作。
5.  secondarynamenode首先会询问namenode是否需要checkpoint（触发checkpoint需要满足两个条件中的任意一个，定时时间到和edits中数据写满了）。直接带回namenode是否检查结果。secondarynamenode执行checkpoint操作，首先会让namenode滚动edits并生成一个空的edits.inprogress，滚动edits的目的是给edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的edits和fsimage会拷贝到secondarynamenode的本地，然后将拷贝的edits和fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给namenode，重命名为fsimage后替换掉原来的fsimage。namenode在启动时就只需要加载之前未合并的edits和fsimage即可，因为合并过的edits中的元数据信息已经被记录在fsimage中。

--------------------

### 3. Fsimage和Edits解析 ###

概念：namenode被格式化之后，将在/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件

fsimage_0000000000000000000
        fsimage_0000000000000000000.md5
        seen_txid
        VERSION

1.  Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。
2.  Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。
3.  seen\_txid文件保存的是一个数字，就是最后一个edits\_的数字
4.  每次NameNode启动的时候都会将fsimage文件读入内存，并读取edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将fsimage和edits文件进行了合并。

--------------------

### 4. checkpoint时间设置 ###

1.  通常情况下，SecondaryNameNode每隔一小时执行一次。如果修改在hdfs-site中  
    \[hdfs-default.xml\]

<property>
      <name>dfs.namenode.checkpoint.period</name>
      <value>3600</value>
    </property >

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
      <name>dfs.namenode.checkpoint.txns</name>
      <value>1000000</value>
    <description>操作动作次数</description>
    </property>
    
    <property>
      <name>dfs.namenode.checkpoint.check.period</name>
      <value>60</value>
    <description> 1分钟检查一次操作次数</description>
    </property >

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]: /images/20220121/33fae81ca0bc420aafc0637719f510ad.png