HDFS学习

谁践踏了优雅 2022-03-10 15:20 138阅读 0赞

# HDFS简介 #

--------------------

`HDFS`是Hadoop Distribute File System 的简称，也就是Hadoop的一个分`布式文件系统`。  
**注**：分布式文件系统（DistributedFileSystem） 是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。

## 特点 ##

--------------------

1.  保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。
2.  运行在廉价的机器上。
3.  适合大数据的处理。HDFS默认会将文件分割成block，64M为1个block。  
    然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。  
    (笔记：HDFS不适合小文件存储：小文件多，造成内存负担。)

# 架构 #

--------------------

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70]  
Master和Slave结构。

分为三个角色：NameNode、SecondaryNameNode、DataNode。

## NameNode ##

--------------------

namenode是管理文件系统的命名空间。它维护者`文件系统树及整颗树内所有的文件和目录`。这些信息以两个文件形式永久保存在本地磁盘上：`fsimage`命名空间镜像文件和`edits`编辑日志文件。

Master节点，大领导。
    
    1. 管理数据块映射；
    
    2. 处理客户端的读写请求；
    
    3. 配置副本策略；
    
    4. 管理HDFS的名称空间。
    
    5. namenode 内存中存储的是 = fsimage + edits。

## SecondNameNode ##

--------------------

小弟，分担大哥namenode的工作量。
    
    SecondaryNameNode负责定时默认1小时，从namenode上，获取fsimage和edits来进行合并，然后再发送给namenode。
    减少namenode的工作量。
    
    NameNode的冷备份。

## DataNode ##

--------------------

Slave节点，奴隶，干活的。
    
    1. 存储client发来的数据块block；
    
    2. 执行数据块的读写操作。

> 热备份

b是a的热备份，如果a坏掉。那么b马上运行代替a的工作。

> 冷备份

b是a的冷备份，如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息，减少a坏掉之后的损失。

> fsimage

元数据镜像文件（文件系统的目录树）。(?还是不懂)

> edits

元数据的操作日志（针对文件系统做的修改操作记录）

> Block数据块

在HDFS系统中，为了便于文件的管理和备份，引入分块概念（`block`）。这里的块是HDFS存储系统当中的`最小单位`，HDFS默认定义一个块的大小在Hadoop1.0中为`64MB`，Hadoop2.0中为`128MB`。`当有文件上传到HDFS上时，若文件大小大于设置的块大小，则该文件会被切分存储为多个块，多个块可以存放在不同的DataNode上`。但值得注意的是如果某文件大小没有到达64/128MB，该文件并不会占据整个块空间 。（例如当一个1MB的文件存储在128MB的块中，文件只使用1MB的硬盘空间，而不是128MB）。默认副本数为3。

# 工作原理 #

--------------------

## 写操作 ##

--------------------

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70 1]  
**写操作场景**

有一个文件FileA，100M大小。Client将FileA写入到HDFS上。
    
    HDFS按默认配置。
    
    HDFS分布在三个机架上Rack1，Rack2，Rack3。

**写操作流程**

1.  Client将FileA按64M分块。分成两块，block1和Block2;
2.  Client向nameNode发送写数据请求，如图蓝色虚线①—>。
3.  NameNode节点，记录block信息。并返回可用的DataNode，如粉色虚线②—>。

Block1: host2,host1,host3
    
    Block2: host7,host8,host4

原理

NameNode具有RackAware机架感知功能，这个可以配置。 
    
    若client为DataNode节点，那存储block时，规则为：副本1，同client的节点上；副本2，不同机架节点上；副本3，同第二个副本机架的另一个节点上；其他副本随机挑选。 
    
    若client不为DataNode节点，那存储block时，规则为：副本1，随机选择一个节点上；副本2，不同副本1，机架上；副本3，同副本2相同的另一个节点上；其他副本随机挑选。 (?没明白)

1.  client向DataNode发送block1；发送过程是以流式写入。

◆ 流式写入过程
    
    1> 将 64M 的block1按 64k 的package划分;
    
    2> 然后将第一个package发送给host2;
    
    3> host2接收完后，将第一个package发送给host1，同时client向host2发送第二个package;
    
    4> host1接收完第一个package后，发送给host3，同时接收host2发来的第二个package;
    
    5> 以此类推，如图红线实线所示，直到将block1发送完毕;
    
    6> host2、host1、host3向NameNode发送通知，host2向Client发送通知，说“消息发送完了”。如图粉红颜色实线所示。
    
    7> client收到host2发来的消息后，向namenode发送消息，说block1写完了。这样block1就完成了。如图黄色粗实线;
    
    8> 发送完block1后，再向host7，host8，host4发送block2，如图蓝色实线所示；
    
    9> 发送完block2后，host7,host8,host4向NameNode发送通知，host7向Client发送通知，如图浅绿色实线所示；
    
    10> client向NameNode发送消息，说我写完了，如图黄色粗实线。这样就完毕了。

**写操作总结**

1. 写1T文件，我们需要3T的存储，3T的网络流量贷款。
    
     2. 在执行读或写的过程中，NameNode和DataNode通过HeartBeat进行保存通信，确定DataNode活着。如果发现DataNode死掉了，就将死掉的DataNode上的数据，放到其他节点去。读取时，要读其他节点去。
    
     3. 挂掉一个节点，没关系，还有其他节点可以备份；甚至，挂掉某一个机架，也没关系；其他机架上，也有备份。

## 读操作 ##

--------------------

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70 2]  
**读操作场景**

client要从datanode上，读取FileA。而FileA由block1和block2组成。

读操作流程

1.  client向namenode发送读请求；
2.  namenode查看Metadata信息，返回fileA的block的位置：

block1:host2,host1,host3
    
    block2:host7,host8,host4

1.  block的位置是有先后顺序的，先读block1，再读block2。而且block1去host2上读取；然后block2，去host7上读取。

**注**：  
上面例子中，client位于机架外，那么如果client位于机架内某个DataNode上，例如,client是host6。那么读取的时候，遵循的规律是：优选读取本机架上的数据。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70]: /images/20220310/7079e0d47d254c96b3122a43f331fca3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70 1]: /images/20220310/e32563d6f7c540da901f6a22cdec6619.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70 2]: /images/20220310/5b682ef9c71343cdb5ce700fb07d1726.png

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS学习总结

1. 什么是HDFS Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件...

r囧r小猫/ 2024年04月17日 21:25/ 0 赞/ 54 阅读

相关 Hadoop学习（ HDFS实现分布式存储：

Hadoop 核心-HDFS > 前面提过，大数据的特点是：体量大类型繁多　值密度低　产生和处理速度快。 > > > > 当数据集的大小超过一台独立的物理计

电玩女神/ 2022年12月29日 12:37/ 0 赞/ 169 阅读

相关 HDFS学习之FileSystem

> 本地访问HDFS最主要的方式是使用HDFS提供的Java API，其他的访问方式也均是建立在这些API之上的。 > > Hadoop2.6.4API文档：[http://

古城微笑少年丶/ 2022年08月22日 12:26/ 0 赞/ 197 阅读

相关【Hadoop学习笔记】——HDFS

HDFS(HadoopDistributedFileSystem)：Hadoop分布式文件存储系统。分布式文件存储系统分布式文件存储系统是指文件系统管理的物理存储资源

梦里梦外;/ 2022年06月13日 03:17/ 0 赞/ 181 阅读

相关 hdfs之namenode学习记录

1、基本概念 namenode:用于管理datanode和hdfs文件信息 namenode有两个重要文件fsimage和editslog namenode容错机

小鱼儿/ 2022年06月10日 04:12/ 0 赞/ 179 阅读

相关 hadoop学习（二）---HDFS

简介 Hadoop Distributed File System，分布式文件系统架构 ![这里写图片描述][70] Block数据 1、基本存储单位，一般大

ゝ一世哀愁。/ 2022年05月16日 22:41/ 0 赞/ 180 阅读

相关 HDFS的API学习

package com.jt; import java.io.ByteArrayInputStream; import java.io.File; import ja

待我称王封你为后i/ 2022年04月16日 04:06/ 0 赞/ 173 阅读

相关 Hadoop学习之HDFS

1、HDFS简介　　HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基

拼搏现实的明天。/ 2022年03月28日 18:08/ 0 赞/ 347 阅读

相关 HDFS学习

HDFS简介 -------------------- `HDFS`是Hadoop Distribute File System 的简称，也就是Hadoop的一个分`布

谁践踏了优雅/ 2022年03月10日 15:20/ 0 赞/ 139 阅读

相关 HDFS的学习和使用

HDFS的学习和使用本文是基于CentOS 7.3系统环境，进行HDFS的学习和使用 CentOS 7.3 -------------------- 1.

妖狐艹你老母/ 2021年09月21日 07:32/ 0 赞/ 359 阅读