大数据技术之Hadoop入门（第二篇）

红太狼 2021-12-09 07:15 274阅读 0赞

大数据技术之Hadoop入门（第二篇）  
继续上篇文章Hadoop入门  
今天来简单的说一下HDFS中的SecondaryNameNode 副节点 和持久化  
在上篇文章中说过了Secondary NameNode(Snn 后面都写作SNN)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照  
一、SNN  
SNN的主要工作

（1）Secondary NameNode询问NameNode是否需要checkpoint。  
直接带回NameNode是否检查结果。  
（2）Secondary NameNode请求执行checkpoint。  
（3）NameNode滚动正在写的edits日志。  
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。  
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。  
（6）生成新的镜像文件fsimage.chkpoint。  
（7）拷贝fsimage.chkpoint到NameNode。  
（8）NameNode将fsimage.chkpoint重新命名成fsimage。  
二、持久化  
了解到SNN的主要工作之后呢，我们就说一下SNN它和NN也就是Namenode的工作机制。  
SNN和NN的工作机制图

在NN掌握一批元数据，（元数据就是描述数据的数据） —存放在内存里  
硬盘 内存大 便宜但是慢  
内存 内存小 贵，但是快  
2.1持久化是什么呢？

持久化：为了保证元数据的安全----将内存中的数据存放到磁盘中

在当我们的集群因断电等特殊原因产生问题的时候，问题解决，重新开机，会去磁盘上读取元数据，恢复到断电前的状态。  
那么为什么说NN不能进行持久化呢？  
其实我们即可以说NN可以做持久化，也可以说不可以做持久化。那么到底什么时候可以做持久化什么时候不可以做持久化呢？

NN可以做持久化：需求小，占用内存小，不影响计算效率  
NN不可以做持久化：是因为NN本身工作已经很多，有可能在持久化的过程中宕机  
备注：SNN永远无法取代NN的位置，他只是NN的一个热备。  
（热备：工作依旧可以进行，但还是能备份）  
2.2Edits和Fsimage

Fsimage：namenode内存中元数据序列化后形成的文件。  
Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。  
为了方便了解画了一个图

namenode启动时，先滚动edits并生成一个空的edits，然后加载edits和fsimage到内存中，此时namenode内存就持有最新的元数据信息。client开始对namenode发送元数据的增删改查的请求，这些请求的操作首先会被记录的edits中（查询元数据的操作不会被记录在edits中，因为查询操作不会更改元数据信息），如果此时namenode挂掉，重启后会从edits中读取元数据的信息。然后，namenode会在内存中执行元数据的增删改查的操作。  
由于edits中记录的操作会越来越多，edits文件会越来越大，导致namenode在启动加载edits时会很慢，所以需要对edits和fsimage进行合并（所谓合并，就是将edits和fsimage加载到内存中，照着edits中的操作一步步执行，最终形成新的fsimage）。secondarynamenode的作用就是帮助namenode进行edits和fsimage的合并工作。  
secondarynamenode首先会询问namenode是否需要checkpoint（触发checkpoint需要满足两个条件中的任意一个，定时时间到和edits中数据写满了）。

持久化的触发条件： 超过3600或者edits（edits.log）的大小超过64M

直接带回namenode是否检查结果。secondarynamenode执行checkpoint操作，首先会让namenode滚动edits并生成一个空的edits，滚动edits的目的是给edits打个标记，以后所有新的操作都写入edits，其他未合并的edits和fsimage会拷贝到secondarynamenode的本地，然后将拷贝的edits和fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给namenode，重命名为fsimage后替换掉原来的fsimage。namenode在启动时就只需要加载之前未合并的edits和fsimage即可，因为合并过的edits中的元数据信息已经被记录在fsimage中。

总结：持久化就是将NN的元数据写入到磁盘中进行存储，当NN挂了之后重启得时候会去磁盘读取相应的元数据，恢复集群的状态-------（内存断电丢失）

发生断电  
持久化之前 ------再次启动，读取系统日志  
持久化之后 -------读取磁盘中的数据，恢复状态  
发生重复的断电  
NN和DN之间有一种通信机制叫做心跳机制------每个3秒，DN会向NN发送一次心跳，1min没有心跳，则认为DN挂掉。  
那么重复的断电会进入安全模式：  
恢复系统状态  
检查DN的信息  
对有问题的DN进行修复  
1） 在传输的过程中断电—数据丢失，如果数据特别重要，那只能提前进行预判，进行相应的调整。  
2）传输完成之后断电  
当我的集群重新恢复之后，NN会去读取元数据，对状态进行相应的恢复  
3）若DN出现问题。在DN恢复之后，如果新的任务，根据情况，确定是否将新的文件上传

\---------------------   
作者：夜、那么美จุ๊บ   
来源：CSDN   
原文：https://blog.csdn.net/adamaaron/article/details/91464836   
版权声明：本文为博主原创文章，转载请附上博文链接！