六、Hadoop基本原理总结—HDFS

淩亂°似流年 2021-11-11 00:01 332阅读 0赞

# **一、****主要组成模块** #

Hadoop Distributed File System（HDFS）：分布式文件存储系统。

MapReduce：并行计算框架（可以自定义计算逻辑的部分）

Yet Another Resource Negotiator（YARN）：另一种资源协调者（顾名思义，Hadoop1.x采用的不是这一个资源管理器）

# 二、**HDFS概述及应用场景** #

## **1、HDFS特点：** ##

*  高容错性：认为硬件总是不可靠的。
 *  高吞吐量：为大量数据访问的应用提供高可用吞吐量支持。
 *  大文件存储：支持存储TB-PB级别的数据。
 *  HDFS适合做：大文件存储、流式数据访问。
 *  HDFS不适合做：大量小文件、随机写入、低延迟读取

## 2、**HDFS系统架构** ##

HDFS架构包含三个部分：（NameNode，DateNode，Client）

*  **NameDode**：用于存储、生成文件系统的**元数据**、运行一个实例。
 *  **DateNode**：用于存**储实际的数据**，将自己管理的数据块上报给NameNode，运行多个实例。
 *  **Client**：支持业务访问HDFS，从NameNode，DateNode获取数据返回给业务。多个实例，和业务一起运行。

## 3、**HDFS数据写入流程** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70][]

（1）、业务应用调用HDFS Client提供的API创建文件，请求写入。

（2）、HDFS Client联系NameNode，NameNode在元数据中创建文件节点。

（3）、业务应用调用write API写入文件。

（4）、HDFS Client收到业务数据后，从NameNode获取到数据块编号、位置信息后，联系DateNode，并将要写入数据的DateNode建立起流水线。完成后，客户端再通过自有协议写入数据到DateNode1，再由DateNode1复制到NateNode2，DateNode3.

（5）、写完的数据，将返回确认信息给HDFS Client。

（6）、所有数据确认完成后，业务调用HDFS CLient关闭文件。

（7）、业务调用close，flush后HDFS Client联系NameNode，确认数据写完成，NameNode持久化元数据。

## 4、HDFS数据读取流程 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 1][]

（1）、业务调用HDFS Client提供的API打开文件。

（2）、HDFS Client 联系 NmaeNode，获取到文件信息（数据块、DateNode位置信息）。

（3）、业务应用调用read API读取文件。

（4）、HDFS Client根据从NmaeNode获取到的信息，联系DateNode，获取相应的数据块。（Client采用就近原则读取数据）。

（5）、HDFS Client会与多个DateNode通讯获取数据块。

（6）、数据读取完成后，业务调用close关闭连接

# 三、**元数据持久化** #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 2][]

（1）、备NameNode通知主NameNode生成新的日志文件，以后的日志写到Editlog.new中，并获取旧的Editlog。

（2）、备NameNode从注NameNode上获取FSImage文件及位于JournalNode上面的旧Editlog。

（3）、备NmaeNode将日志和旧的元数据合并，生成新的元数据FSImage.ckpt。

（4）、备NameNode将元数据上传到主NameNode。

（5）、主NameNode将上传的原书记进行回滚。循环步骤1.

# 四、**HDFS高可靠性(HA)** #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 3][]

**1、HA解决的是一个热备份的问题。**

HDFS的高可靠性（HA）架构在基本架构上增加了一下组件：

（1）、 ZooKeeper：分布式协调，主要用来存储HA下的状态文件，主备信息、ZK个数建议3个及以上且为奇数个。

（2）、NameNode主备：NameNode主备模式，主提供服务，备合并元数据并作为主的热备。

（3）、ZKFC（Zookeeper Failover Controller）用于控制NameNode节点的主备状态。

（4）、JN（JournalNode）日志节点：用于共享存储NameNode生成的Editlog。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 4][]

**2、处于待命状态的名称节点和处于活状态的名称节点，它们元数据的两个方面的信息是怎么同步的**：

处于待命状态的名称节点当中，它的两方面元数据，一个就是Editlog，它是通过共享存储系统来获得同步的，处于活跃状态的名称节点已发生变化，马上写入到共享存储系统，然后这共享存储系统会通知待命的名称节点把它取走，这样可以保证Editlog上两者可以保持同步。对于映射表信息而言，也就是一个文件包含几个块，这些块被保存到哪个数据节点上面。这种映射信息，它的 实时的维护是通过底层数据节点，不断同时向活跃名称节点和待命节点名称节点汇报来进行维护的。这就是它的基本原理。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70]: /images/20211109/510cd1e6a7bd4b88915913f5638fa455.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 1]: /images/20211109/4b7c2bf56f544e8e8c2d4591e3624cce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 2]: /images/20211109/bed50433a8dc4ed48fbc09a6508a38de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 3]: /images/20211109/6259b014bb52460f875dc38e9d0404b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 4]: /images/20211109/a9a46949a9224aaf84a13e518b374f44.png