大数据_HDFS原理

￡神魔★判官ぃ 2024-04-03 08:16 92阅读 0赞

**目录**

一、什么是HDFS

二、HDFS架构角色

三、HDFS工作流程

四、HDFS的优缺点

--------------------

## **一、什么是HDFS** ##

**1****、定义**

HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。

**2****、特点**

① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存 3 份。

② 运行在廉价的机器上。

③ 适合大数据的处理。多大？多小？HDFS 默认会将文件分割成 block，64M 为 1 个 block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中(namenode)。 如果小文件太多，那内存的负担会很重。

## **二、****HDFS****架构角色** ##

个HDFS集群包含一个单独的NameNode和多个DataNode。HDFS采用一种称为rack-aware的策略。Rack1、Rack2....

![2491990e902c4aceb81c3b64c37d9889.png][]

**NameNode****：**是 Master 节点，是管理者。管理数据块映射；处理客户端的读写请求；配置副本策略；管理 HDFS 的名称空间；NameNode 保存的 metadata 包括文件 ownership 和 permission文件包含的 block 信息。Block 保存在那些 DataNode 节点上（数据并非保存在 NameNode 磁 盘上的，它是在 DataNode 启动时上报给 NameNode 的，NameNode 接收到之后 将这些信息保存在内存中）NameNode 的 metadata 信息在 NameNode 启动后加载到内存中，Metadata 存储到磁盘上的文件名称为 fsimage，Block 的位置信息不会保存在 fsimage 中，Edits 文件记录了客户端操作 fsimage 的日志，对文件的增删改等。用户对 fsimage 的操作不会直接更新到 fsimage 中去，而是记录在 edits 中。

![039476580e564d3a89e9a1616d4be953.png][]

**SecondaryNameNode****：**分担 namenode 的工作量；是 NameNode 的冷备份；合并 fsimage 和 fsedits 然后再发给 namenode。

合并fsimage和fsedits文件，然后发送并替换NameNode的fsimage文件， 同时自己留下一个副本。这个副本可供 NameNode 毁灭之后的部分文件恢复。

1.  可以通过配置 fs.checkpoint.period 修改合并间隔时间，默认 1 小时

1.  也可以通过配置 edits 日志文件的大小，fs.checkpoint.size 规定 edits 文 件的最大值，来让 SecondaryNameNode 来知道什么时候该进行合并操作了。 默认是 64M

![b0ca6e3497e34acca5341a072a2913a5.png][]

**DataNode****：**Slave 节点，奴隶，干活的。负责存储 client 发来的数据块 block；执行数据 块的读写操作。

热备份：b 是 a 的热备份，如果 a 坏掉。那么 b 马上运行代替 a 的工作。

冷备份：b 是 a 的冷备份，如果 a 坏掉。那么 b 不能马上代替 a 工作。但是 b 上存储 a 的 一些信息，减少 a 坏掉之后的损失。

fsimage:元数据镜像文件（文件系统的目录树。）

edits：元数据的操作日志（针对文件系统做的修改操作记录）

namenode 内存中存储的是=fsimage+edits。

SecondaryNameNode 负责定时默认 1 小时，从 namenode 上，获取 fsimage 和 edits 来 进行合并，然后再发送给 namenode。减少 namenode 的工作量。

![3e080a2c08f6477abf7d3d6408c7e8e4.png][]

## **三、****HDFS****工作流程** ##

**备份数据的存放：**备份数据的存放是HDFS可靠性和性能的关键。HDFS采用一种称为rack-aware的策略来决定备份数据的存放。通过一个称为Rack Awareness的过程，NameNode决定每个DataNode所属rack id。缺省情况下，一个block块会有三个备份，一个在NameNode指定的DataNode上，一个在指定DataNode非同一rack的DataNode上，一个在指定DataNode同一rack的DataNode上。这种策略综合考虑了同一rack失效、以及不同rack之间数据复制性能问题。

**示例写入流程：**

1.  将 64M 的 block1 按 64k 的 package 划分;
2.  然后将第一个 package 发送给 host2;
3.  host2 接收完后，将第一个 package 发送给 host1，同时 client 想 host2 发送第 二个 package；
4.  host1 接收完第一个 package 后，发送给 host3，同时接收 host2 发来的第二个 package。
5.  以此类推，如图红线实线所示，直到将 block1 发送完毕。
6.  host2,host1,host3向NameNode，host2向Client发送通知，说“消息发送完了”。 如图粉红颜色实线所示。
7.  client 收到 host2 发来的消息后，向 namenode 发送消息，说我写完了。这样就 真完成了。如图黄色粗实线
8.  发送完 block1 后，再向 host7，host8，host4 发送 block2，如图蓝色实线所示。
9.  发送完 block2 后，host7,host8,host4 向 NameNode，host7 向 Client 发送通 知，如图浅绿色实线所示。
10. client 向 NameNode 发送消息，说我写完了，如图黄色粗实线。。。这样就完 毕了。

分析，通过写过程，我们可以了解到：

①写 1T 文件，我们需要 3T 的存储，3T 的网络流量带宽。

②在执行读或写的过程中，NameNode 和 DataNode 通过 HeartBeat 进行保存通信， 确定 DataNode 活着。如果发现 DataNode 死掉了，就将死掉的 DataNode 上的数据，放 到其他节点去。读取时，要读其他节点去。

③挂掉一个节点，没关系，还有其他节点可以备份；甚至，挂掉某一个机架，也没关系； 其他机架上，也有备份。

![80bd93809f034b70a8449dc2e16b9676.png][]

![f88eb5acf2b84a69a6fb86c9cab24e8f.png][]

**副本的选择：**为了降低整体的带宽消耗和读取延时，HDFS会尽量读取最近的副本。如果在同一个rack上有一个副本，那么就读该副本。如果一个HDFS集群跨越多个数据中心，那么将首先尝试读本地数据中心的副本。安全模式：系统启动后先进入安全模式，此时系统中的内容不允许修改和删除，直到安全模式结束。安全模式主要是为了启动检查各个DataNode上数据块的安全性

**示例读流程：**

读操作就简单一些了，如图所示，client 要从 datanode 上，读取 FileA。而 FileA 由 block1 和 block2 组成。那么，读操作流程为：

**a.** client 向 namenode 发送读请求。

**b.** namenode 查看 Metadata 信息，返回 fileA 的 block 的位置。

block1:host2,host1,host3

block2:host7,host8,host4

**c.** block 的位置是有先后顺序的，先读 block1，再读 block2。而且 block1 去 host2 上读取； 然后 block2，去 host7 上读取；这个例子中，client 位于机架外，那么如果 client 位于机架内某个 DataNode 上，例如,client 是 host6。那么读取的时候，遵循的规律是：优先读取本机架上的数据。

![4678b668dd0c43049cc683f2efe356d3.png][]

![c0a5336c02b84d14a2943e50ce0a9951.png][]

## **四、****HDFS****的优缺点** ##

**1****、****HDFS** **优点**

**高容错性**

数据自动保存多个副本

副本丢失后，自动回复

**适合批处理**

移动的计算和操作

数据位置暴漏给计算框架

**适合大数据处理**

GB、TB、PB 甚至更大

百万规模以上的文件数量

10K+节点

**可构建在廉价的机器上**

通过副本提高可靠性

提供了容错和恢复机制

**低延迟数据访问**

毫秒级读取

低延迟与高吞吐量

**2****、****HDFS** **缺点**

**小文件存取**

占用 NameNode 内存空间

寻址时间超过读取时间

**并发写入、文件随即修改**

一个文件同时只能由一个写入者

**仅支持** **append**

[2491990e902c4aceb81c3b64c37d9889.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8de3d2a2a40647da85c549a292606758.png
[039476580e564d3a89e9a1616d4be953.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/2a92718d4dc1454baf81fee30f45e453.png
[b0ca6e3497e34acca5341a072a2913a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/be833a44f2244c609e6c274a6adfe98e.png
[3e080a2c08f6477abf7d3d6408c7e8e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/bc89a48150e04bea93266f8416b343d1.png
[80bd93809f034b70a8449dc2e16b9676.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e16434b41da44e0d8811f42cee35e7fe.png
[f88eb5acf2b84a69a6fb86c9cab24e8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/741eb8307168409e9b076018d98995f3.png
[4678b668dd0c43049cc683f2efe356d3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/9342e7a9bea14f6491c8526911826afb.png
[c0a5336c02b84d14a2943e50ce0a9951.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f0abcf24261741f697ff9475b7f61a32.png