Hadoop-hdfs入门-01

清疚 2022-11-07 11:48 152阅读 0赞

概述：

hdfs:Hadoop Distributed  File System(hadoop分布式文件系统)

**和其他文件系统最大的区别，更好的支持分布式计算**。

**目录**

1、hdfs的存储模型：

2、架构设计

3、角色功能

3.1、NameNode

3.2、DataNode

4、元数据持久化

5、安全模式

6、Block副本放置策略

7、读写流程

7.1 写流程

7.2 读流程

8、安全策略

9、注意事项

--------------------

# 1、hdfs的存储模型： #

1）、文件线性按 字节 切割成块（block）存储，具有offset和唯一标识id

2）、不同文件的block大小可以不一样

3）、一个文件的除了最后一个block，其他的block大小一致

4）、block的大小根据硬件的I/O特性【一般指网络带宽】做对应的调整

5）、block分散存储在不同的集群节点上，具有location

6）、Block具有副本（replication）,hdfs中，block没有主从概念，副本不能同时出现在一个节点上（当前节点挂了，副本就失去了副本的意义）

7）、副本是满足可靠性和性能的关键

8）、文件上传可以指定block大小和副本数，上传后只能修改副本数量，不能修改内容，因为一旦修改某个block，排在其后的block的偏移量都将发生改变，会造成大量的数据拷贝工作，大量的消耗服务器资源。

9）、文件一次写入多次读取，不支持修改，可以删除【注意：删除的是文件，block是不支持删除】

10）、支持追加数据【注意：追加在文件后面，或者是最后说最后一个block后面】

# 2、架构设计 #

1）、HDFS是一个主从（Master/Slaver）架构

2）、由一个NameNode和多个DataNode组成

3）、面向文件设计：包含文件元数据meatdata  和文件数据data

4）、NameNode负责存储和管理文件的元数据【offset、locations、id、replications】，并维护了一个层次分明的文件目录树

5）、DataNode负责存储文件的数据块(即Block)，并提供block块的读写

6）、DataNode与NameNode维持心跳，并汇报自己持有的block信息

7）、Client和NameNode交互文件元数据，Client和DataNode交互文件Block数据 【Client是病人、NameNode是挂号处、DataNode是具体科室】

# 3、角色功能 #

## 3.1、NameNode ##

1）、完全基于内存存储文件元数据、目录结构、文件Block的映射

2）、需要持久化方案保证数据可靠性

3）、提供 副本 放置策略

## 3.2、DataNode ##

1）、基于本地磁盘存储Block

2）、保存了block的校验【加密串】和数据，保证block的可靠性

3）、与NameNode保持心跳，汇报block列表状态

# 4、元数据持久化 #

1）、任何对【文件系统】元数据产生修改的操作，NameNode都会使用一种称为EditLog的事务日志记录下来

2）、使用FsImage存储内存所有的元数据状态

3）、使用本地磁盘保存EditLog和FsImage

4）、EditLog具有完整性，数据丢失少，但恢复速度慢，并有体积膨胀风险

5）、FsImage具有恢复速度快，体积与内存数据相当，但不能实时保存，数据丢失多

6）、NameNode使用了FsImage+EditLog整合的方案：滚动将增量的EditLog更新到FsImage，以保证更近时点的FsImage和更小的EditLog体积

# 5、安全模式 #

1）、HDFS在搭建的时候会触发格式化，格式化操作会产生一个空的FsImage

2）、当NameNode启动的时候，会从磁盘中读取EditLog和FsImage

3）、将所有EditLog中的事务作用在内存中的FsImage上，并将这个新版本的FsImage从内存保存到本地磁盘上

4）、然后删除旧的EditLog，因为这个旧的EditLog的事务都已经刷到FsImage上了

5）、NameNode启动后会进入一个称为安全模式的特殊状态

6）、处于安全模式的NameNode是不会进行数据块的复制的

7）、NameNode从所有的DataNode接收心跳信号和块状态报告。

8）、每当NameNode检测确认某个数据块的副本数目达到这个最小值，那么该数据块就会被认为是副本安全（safely replicated）的

9）、在一定百分比（这个参数可配置）的数据块被NameNode检测确认是安全之后（加上一个额外的30秒等待时间），NameNode将退出安全模式状态

10）、接下来它会确定还有那些数据块的副本没有达到指定数目，并将这些数据块复制到其他DataNode上

# 6、Block副本放置策略 #

1）、第一份副本：放置在上传文件的DataNode【即本机】; 如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。

2）、第二份副本：放置在第一个副本不同的机架节点上

3）、第三份副本：与第二个副本相同的机架节点

更多副本：随机节点

# 7、读写流程 #

## 7.1 写流程 ##

重点：触发副本放置策略、Pipeline传输

1）、Client与NameNode连接创建文件元数据

2）、NameNode校验元数据是否有效（是否有权限、是否已创建等等）

3）、NameNode触发副本放置策略，返回一个有序【由近到远】的DataNode列表

4）、Client和DataNode建立Pipeline连接

5）、Client将Block切成packet(64KB)、并使用chunk（512B）+ chunksum(4B)填充

6）、Client将packet放入发送队列dataqueue中，并向最近的DataNode发送

7）、第一个DataNode收到packet后，先保存本地，再发给第二个DataNode

8）、第二个DataNode收到packet后，先保存本地，再发给第三个DataNode

9）、这个过程中上游节点发送一个packet，多个DataNode之间其实是并行传输，资源得到了充分使用

10）、HDFS使用这种传输方式，副本数对于Client是透明的

11）、当Block传输完成后，DataNode会向NameNode汇报，同时client传输下一个block，所以其实client的传输和Block的汇报也是并行的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnlvdXhpbnphbw_size_16_color_FFFFFF_t_70][]

## 7.2 读流程 ##

1）、为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序选择距离它最近的副本读取

2）、如果在读取过程中发现某个副本就在本机或本机架，采用就近原则

3）、如果一个HDFS集群跨域多个数据中心，那么客户端也将首先读取本地中心的副本

4）、读取文件时，首先客户端会像NameNode查询目标文件所有的block位置信息，NameNode会返回一个有序【距离由近到远】的列表

5）、拿到所以的blockLocations以后，客户端可以按照自己的需要下载所以需要的block，也可以下载全部。总之【按需下载】

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnlvdXhpbnphbw_size_16_color_FFFFFF_t_70 1][]

# 8、安全策略 #

# 9、注意事项 #

9.1、NameNode在持久化的时候，文件属性会持久化，但是文件在那个块存储这个信息【即locations】不会被持久化，这样在恢复的时候，块的位置信息就会丢失。为什么会这么做呢？因为一旦持久化，万一某个DataNode起不来了，持久化的location就错误了。那这个信息怎么补回来呢，**安全模式**的时候，又DataNode通过心跳机制汇报给NameNode.

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnlvdXhpbnphbw_size_16_color_FFFFFF_t_70]: /images/20221023/88ebe29618ba4f43ac0e9c161dcb803e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbnlvdXhpbnphbw_size_16_color_FFFFFF_t_70 1]: /images/20221023/0992e59ae7ef414589400e71e677640a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，152人围观）

还没有评论，来说两句吧...

相关阅读

相关 01-VUE入门

?前言??博客：【无聊大侠hello word】?✍有一点思考，有一点想法，有一点理性！✍✍本文由在下【无聊大侠hello word】原创，首发于CSDN✍VUE：vue...

超、凢脫俗/ 2024年05月03日 14:33/ 0 赞/ 75 阅读

相关 01、RabbitMQ入门

目录 1.、什么是MQ 2、应用场景 3、主流MQ框架 4、Docker安装部署RabbitMQ 5、RabbitMQ管理平台 6、MQ的核心概念单一生产者

男娘i/ 2024年03月31日 15:10/ 0 赞/ 35 阅读

相关 python入门-01

正文在下面，先打个广告： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly

朴灿烈づ我的快乐病毒、/ 2022年10月26日 14:29/ 0 赞/ 181 阅读

相关 Hadoop-入门-01

一、 Hadoop是什么？ Hadoop是一个大家族，是一个开源的生态系统，是一个分布式运行系统，是基于Java编程语言的架构。不过它最高明的技术还是HDFS

桃扇骨/ 2022年06月11日 00:59/ 0 赞/ 221 阅读

相关 01-QT入门

QT学习方法： 1. qt命名非常规范，不同的类中功能类似的函数名称相同。比如show、setParent、move、resize、setFixedSize等。 2.

矫情吗；*/ 2022年03月01日 11:04/ 0 赞/ 259 阅读

相关 Flume入门 01

前言在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这

心已赠人/ 2022年02月28日 12:22/ 0 赞/ 242 阅读

相关 Hibernate01-入门

一、搭建Hibernate环境 1、Hibernate框架简介 Hibernate是数据持久化工具，也是一个开放源代码的ORM解决方案。Hibernate内部封装

拼搏现实的明天。/ 2022年02月27日 03:22/ 0 赞/ 234 阅读

相关 Impala入门 01

1. 什么是Impala Cloudera公司开源提供的一款sql on hadoop的软件。号称是当前大数据领域大查询最快的一款sql on hadoop的工具

水深无声/ 2022年02月25日 13:20/ 0 赞/ 393 阅读

相关 mysql入门01

1数据库概述什么是数据库数据库就是存储数据的仓库，其本质是一个文件系统，数据按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加，修改，删除及查询操作

迈不过友情╰/ 2022年01月22日 10:41/ 0 赞/ 258 阅读

相关 01- linux入门

LINUX是什么？ \-linux是计算机操作操作系统 \-常见的操作系统有：Windows，Android，苹果iOS，Mac系统，Unix（和linux类似）

缺乏、安全感/ 2021年12月22日 22:59/ 0 赞/ 289 阅读