HDFS体系架构

2021-10-23 19:48 81阅读 0赞

**HDFS:**

Hadoop Distributed File System 简称为:HDFS (hadoop 分布式文件系统)

一台服务器的存储空间有限,可以通过多台服务器协同处理数据

**来源:**

来源于Google的Google File System (GFS);GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。

**HDFS架构原理:**

namenode: 主节点 名称节点 主要作用是 HDFS 的管理员和存储库的元数据主节点，包括存储文件名称，副本数（默认会备份3份），数据块，数据块在哪个 Datanode 节点位置。

datanode: 从节点 数据节点 主要作用是保存数据，用来具体的存储文件，维护了blockId 与 datanode本地文件的映射。需要不断的与namenode节点通信，来告知其自己的信息，方便nameode来管控整个系统。

SecondaryNameNode:  第二名称节点 主要作用是协助namenode管理元数据信息

JournalNode: 主要作用是存在EditLog,在HA模式在实现namenode的高可用,为了实现两个namenode数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。

**设计目标:**

硬件错误是常态问题

硬件故障是计算机常见的问题。整个HDFS系统由数百甚至上千个存储着数据文件的服务器组成。而如此多的服务器则意味着高故障率，因此，故障的检测和快速自动恢复是HDFS的一个核心目标。

数据流式访问

HDFS的设计建立在“一次写入、多次读取”的基础上。一个数据集由数据源生成或复制而来，然后响应各种各样的数据分析任务请求，每次分析都涉及该数据集的大部分数据甚至全部，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。

大数据集

HDFS文件大小都是GB甚至TB级别

简单的相关模型

一次写入,多次读取的访问模式

移动计算比移动数据更为划算移动计算比移动数据更为划算

把计算迁移到数据附近更好，而不是把数据传输到程序运行的地方。

兼容性

系统设计之初肯定要考虑兼容性的问题,如果兼容性都做不到是没人使用的

**优劣:**

优点

处理超大文件

处理结构化,非结构化,半结构化数据

运行在廉价的商用集群上

缺点

不适合处理低延迟的数据访问

对于这些请求HBase是更好的选择

无法高效存储大量的小文件

可以利用SequenceFile,MapFile等方式归档文件

不支持多用户写入及任意修改文件

在HDFS的一个文件中只有一个写入者，而且写操作只能在文件末尾完成，即只能执行追加操作。目前HDFS还不支持多个用户对同一文件的写操作，以及在文件任意位置进行修改。

![640?wx\_fmt=png][640_wx_fmt_png]

[640_wx_fmt_png]: /images/20211023/edc087d880644aeba0edbe88d5520544.png

文章版权声明：注明蒲公英云原创文章，转载或复制请以超链接形式并注明出处。

发表评论取消回复

表情：

评论列表（有 0 条评论，81人围观）

还没有评论，来说两句吧...

相关阅读

相关 yean体系架构介绍

YARN是Hadoop 2.0的资源管理器。它是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

小鱼儿/ 2021年05月12日 19:55/ 0 赞/ 285 阅读

相关 HDFS 架构

前段时间搭建了一套Hadoop集群的测试环境，因为服务器故障，废了。这几天闲来无事，想着把Storm用Yarn管理起来，于是再来一遍，同时也梳理下Hadoop组件中的一些概念。

落日映苍穹つ/ 2021年09月26日 13:54/ 0 赞/ 106 阅读

相关 HDFS体系架构

HDFS: Hadoop Distributed File System 简称为:HDFS (hadoop 分布式文件系统)

痛定思痛。/ 2021年10月23日 19:48/ 0 赞/ 81 阅读

相关 kafka体系架构

基本概念 kafka是一种高吞吐量的消息队列（生产者消费者模式）由Scala和Java编写 Kafka是一种高吞吐量的分布式发

系统管理员/ 2021年10月24日 02:56/ 0 赞/ 105 阅读

相关 Hadoop3.2.0 HDFS架构

介绍假想和目标硬件故障流式数据访问大数据集简单的一致性模型 “移动计算比移

╰+哭是因爲堅強的太久メ/ 2022年02月20日 00:00/ 0 赞/ 21 阅读

相关 Spark 体系架构

摘要：最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “sp

左手的ㄟ右手/ 2022年04月06日 17:30/ 0 赞/ 16 阅读

相关 SpringCloud之架构体系

[附：SpringCloud之系列汇总跳转地址][SpringCloud] 概述毫无疑问，Spring Cloud是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技

悠悠/ 2022年04月15日 14:51/ 0 赞/ 17 阅读

相关 Spring模块组成(框架组成、整体架构、体系架构、体系结构)

文章目录 * 核心容器 AOP 和设备支持数据访问与集成 Web 消息(Messaging)

红太狼/ 2020年06月16日 23:18/ 0 赞/ 550 阅读

相关 HDFS体系架构

HDFS: Hadoop Distributed File System 简称为:HDFS (hadoop 分布式文件系统)

痛定思痛。/ 2021年10月23日 19:48/ 0 赞/ 81 阅读

相关 HDFS 架构

前段时间搭建了一套Hadoop集群的测试环境，因为服务器故障，废了。这几天闲来无事，想着把Storm用Yarn管理起来，于是再来一遍，同时也梳理下Hadoop组件中的一些概念。

落日映苍穹つ/ 2021年09月26日 13:54/ 0 赞/ 106 阅读

相关 kafka体系架构

基本概念 kafka是一种高吞吐量的消息队列（生产者消费者模式）由Scala和Java编写 Kafka是一种高吞吐量的分布式发

系统管理员/ 2021年10月24日 02:56/ 0 赞/ 105 阅读

相关 Spark 体系架构

摘要：最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “sp

左手的ㄟ右手/ 2022年04月06日 17:30/ 0 赞/ 16 阅读

相关 yean体系架构介绍

YARN是Hadoop 2.0的资源管理器。它是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

小鱼儿/ 2021年05月12日 19:55/ 0 赞/ 285 阅读

相关 SpringCloud之架构体系

[附：SpringCloud之系列汇总跳转地址][SpringCloud] 概述毫无疑问，Spring Cloud是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技

悠悠/ 2022年04月15日 14:51/ 0 赞/ 17 阅读

相关 Spring模块组成(框架组成、整体架构、体系架构、体系结构)

文章目录 * 核心容器 AOP 和设备支持数据访问与集成 Web 消息(Messaging)

红太狼/ 2020年06月16日 23:18/ 0 赞/ 550 阅读

相关 Hadoop3.2.0 HDFS架构

介绍假想和目标硬件故障流式数据访问大数据集简单的一致性模型 “移动计算比移

╰+哭是因爲堅強的太久メ/ 2022年02月20日 00:00/ 0 赞/ 21 阅读