HDFS体系架构

痛定思痛。 2021-10-23 11:48 348阅读 0赞

**HDFS:**

Hadoop Distributed File System 简称为:HDFS (hadoop 分布式文件系统)

一台服务器的存储空间有限,可以通过多台服务器协同处理数据

**来源:**

来源于Google的Google File System (GFS);GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。

**HDFS架构原理:**

namenode: 主节点 名称节点 主要作用是 HDFS 的管理员和存储库的元数据主节点，包括存储文件名称，副本数（默认会备份3份），数据块，数据块在哪个 Datanode 节点位置。

datanode: 从节点 数据节点 主要作用是保存数据，用来具体的存储文件，维护了blockId 与 datanode本地文件的映射。需要不断的与namenode节点通信，来告知其自己的信息，方便nameode来管控整个系统。

SecondaryNameNode:  第二名称节点 主要作用是协助namenode管理元数据信息

JournalNode: 主要作用是存在EditLog,在HA模式在实现namenode的高可用,为了实现两个namenode数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。

**设计目标:**

硬件错误是常态问题

硬件故障是计算机常见的问题。整个HDFS系统由数百甚至上千个存储着数据文件的服务器组成。而如此多的服务器则意味着高故障率，因此，故障的检测和快速自动恢复是HDFS的一个核心目标。

数据流式访问

HDFS的设计建立在“一次写入、多次读取”的基础上。一个数据集由数据源生成或复制而来，然后响应各种各样的数据分析任务请求，每次分析都涉及该数据集的大部分数据甚至全部，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。

大数据集

HDFS文件大小都是GB甚至TB级别

简单的相关模型

一次写入,多次读取的访问模式

移动计算比移动数据更为划算移动计算比移动数据更为划算

把计算迁移到数据附近更好，而不是把数据传输到程序运行的地方。

兼容性

系统设计之初肯定要考虑兼容性的问题,如果兼容性都做不到是没人使用的

**优劣:**

优点

处理超大文件

处理结构化,非结构化,半结构化数据

运行在廉价的商用集群上

缺点

不适合处理低延迟的数据访问

对于这些请求HBase是更好的选择

无法高效存储大量的小文件

可以利用SequenceFile,MapFile等方式归档文件

不支持多用户写入及任意修改文件

在HDFS的一个文件中只有一个写入者，而且写操作只能在文件末尾完成，即只能执行追加操作。目前HDFS还不支持多个用户对同一文件的写操作，以及在文件任意位置进行修改。

![640?wx\_fmt=png][640_wx_fmt_png]

[640_wx_fmt_png]: /images/20211023/edc087d880644aeba0edbe88d5520544.png

发表评论取消回复

表情：

评论列表（有 0 条评论，348人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS架构

![615800-20160410194709656-653161719.jpg][] 　　HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成

朴灿烈づ我的快乐病毒、/ 2023年08月17日 15:19/ 0 赞/ 55 阅读

相关 HDFS体系架构

体系架构 NameNode HDFS主节点、管理员接收客户端（命令行、Java程序）的请求：创建目录、上传、下载、删除数据

阳光穿透心脏的1/2处/ 2022年12月14日 13:50/ 0 赞/ 139 阅读

相关 HDFS体系结构详解

> HDFS包含：NameNode、SecondaryNameNode、DataNode HDFS — Hadoop 分布式文件系统是世界上最可靠的存储系统，HDFS 文件系

川长思鸟来/ 2022年10月12日 04:26/ 0 赞/ 134 阅读

相关 HDFS架构（ HDFS Architecture）

HDFS架构介绍 Hadoop分布式文件系统（HDFS）是一个运行在普通商用服务器上的分布式文件系统。他和很多的分布式文件系统类似，但是也有很显著的不同。HDFS

迈不过友情╰/ 2022年08月17日 15:11/ 0 赞/ 191 阅读

相关 hdfs架构分析

hdfs介绍 hadoop的分布式文件系统hdfs是依据谷歌的GFS论文来实现的，它是一个被设计成为运行在廉价的通用硬件之上，具有容错性的文件系统。hdfs的设计使得它能够提

比眉伴天荒/ 2022年07月03日 17:56/ 0 赞/ 195 阅读

相关 Spark 体系架构

摘要：最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “sp

左手的ㄟ右手/ 2022年04月06日 09:30/ 0 赞/ 278 阅读

相关 02HDFS架构

[https://www.cnblogs.com/zhoujingyu/p/5040957.html][https_www.cnblogs.com_zhoujingyu_p_5

╰+攻爆jí腚メ/ 2022年01月09日 04:09/ 0 赞/ 111 阅读

相关 kafka体系架构

基本概念 kafka是一种高吞吐量的消息队列（生产者消费者模式）由Scala和Java编写 Kafka是一种高吞吐量的分布式发

系统管理员/ 2021年10月23日 18:56/ 0 赞/ 369 阅读

相关 HDFS体系架构

HDFS: Hadoop Distributed File System 简称为:HDFS (hadoop 分布式文件系统)

痛定思痛。/ 2021年10月23日 11:48/ 0 赞/ 349 阅读

相关 HDFS 架构

前段时间搭建了一套Hadoop集群的测试环境，因为服务器故障，废了。这几天闲来无事，想着把Storm用Yarn管理起来，于是再来一遍，同时也梳理下Hadoop组件中的一些概念。

落日映苍穹つ/ 2021年09月26日 05:54/ 0 赞/ 350 阅读