Hadoop HDFS 数据流

逃离我推掉我的手 2022-02-25 16:38 167阅读 0赞

### HDFS 写数据流程 ###

![在这里插入图片描述][5ca2f136e4b0cfb73424aa2a.png_1554184436335]

1.  客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目 标文件是否已存在，父目录是否存在。
2.  NameNode 返回是否可以上传。
3.  客户端请求第一个 block 上传到哪几个 datanode 服务器上。
4.  NameNode 返回 3 个 datanode 节点，分别为 dn1、dn2、dn3。
5.  客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用 dn2， 然后 dn2 调用 dn3，将这个通信管道建立完成。
6.  dn1、dn2、dn3 逐级应答客户端。
7.  客户端开始往dn1上传第一个bloc(k先从磁盘读取数据放到一个本地内存缓存)，以packet 为单位，dn1 收到一个 packet 就会传给 dn2，dn2 传给 dn3;dn1 每传一个 packet 会放入一个 应答队列等待应答。
8.  当一个 block 传输完成之后，客户端再次请求 NameNode 上传第二个 block 的服务器。(重 复执行 3-7 步)。

### HDFS 读数据流程 ###

![HDFS 读数据流程][HDFS]

1.  客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元 数据，找到文件块所在的 DataNode 地址。
2.  挑选一台 DataNode(就近原则，然后随机)服务器，请求读取数据。
3.  DataNode 开始传输数据给客户端(从磁盘里面读取数据输入流，以 packet 为单位来做校 验)。
4.  客户端以 packet 为单位接收，先在本地缓存，然后写入目标文件。

### 参考 ###

[HDFS详解（2）——HDFS中的读写数据流][HDFS_2_HDFS]

[5ca2f136e4b0cfb73424aa2a.png_1554184436335]: /images/20220225/61d6d313ae4c45c4ae7ec83e7c1b0cbf.png
[HDFS]: /images/20220225/0beb10b398204cb6965e0536a8c9d033.png
[HDFS_2_HDFS]: https://www.cnblogs.com/shihuai355/p/3830316.html

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关 hdfs-数据流之写入

根据下图介绍HDFS的写入流程。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLm

r囧r小猫/ 2022年11月30日 12:34/ 0 赞/ 163 阅读

相关 Hadoop-HDFS读写数据流原理分析

HDFS的数据流（原理分析） HDFS写数据流程 ![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b4lYNapi-162501

水深无声/ 2022年10月11日 06:10/ 0 赞/ 168 阅读

相关 Hadoop分布式文件系统——HDFS数据流

一、剖析文件读取客户端及与之交互的HDFS、namenode和datanode之间的数据流。如图显示读取文件时事件的发生顺序。 ![这里写图片描述][20161130

- 日理万妓/ 2022年07月14日 06:29/ 0 赞/ 193 阅读

相关 Hadoop的HDFS

大数据的特点 1.TB,PB类别的数据 2.数据是以高速增长的趋势 3.数据都是半结构化或者非结构化的数据，需要我们存储以及处理成直观的数据 H

青旅半醒/ 2022年07月12日 04:38/ 0 赞/ 189 阅读

相关 Hadoop HDFS原理

1 HDFS的运行机制 HDFS集群中的节点分为两种角色，一种角色负责管理整个集群的元数据，是名称节点（name node）；另一种角色负责存储文件数据块和管理文件数据块，是

向右看齐/ 2022年06月06日 02:21/ 0 赞/ 304 阅读

相关 Hadoop - HDFS

简介 Hadoop Distributed File System，分布式文件系统架构 ![7f6aa8d597c45642984257e7089c7077.p

「爱情、让人受尽委屈。」/ 2022年06月05日 10:46/ 0 赞/ 399 阅读

相关 hadoop-hdfs,java操作hdfs

1.创建一个maven项目引入 1.相关的pom依赖: <dependency> <gro

迷南。/ 2022年05月14日 07:20/ 0 赞/ 336 阅读

相关 hadoop-hdfs

HDFS： HDFS即Hadoop的分布式文件系统，以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在

缺乏、安全感/ 2022年04月10日 04:38/ 0 赞/ 258 阅读

相关 Hadoop HDFS 数据流

HDFS 写数据流程 ![在这里插入图片描述][5ca2f136e4b0cfb73424aa2a.png_1554184436335] 1. 客户端通过Distrib

逃离我推掉我的手/ 2022年02月25日 16:38/ 0 赞/ 168 阅读

相关 Hadoop HDFS

一、简介 Hadoop Distributed File System，分布式文件系统二、架构 ![hdfs-architecture][] Block数据块

向右看齐/ 2021年10月15日 22:21/ 0 赞/ 405 阅读