Hadoop 写文件

野性酷女 2022-06-05 10:46 154阅读 0赞

## HDFS - 写文件 ##

![4e13b1fb64f09615d8f9c31f46c541cb.png_wxfrom_5_wx_lazy_1][]

1.客户端将文件写入本地磁盘的N\#x4E34;时文件中

2.当临时文件大小达到一个block大小时，HDFS client通知NameNode，申请写入文件

3.NameNode在HDFS的文件系统中创建一个文件，并把该block id和要写入的DataNode的列表返回给客户端

4.客户端收到这些信息后，将临时文件写入DataNodes

*  4.1 客户端将文件内容写入第一个DataNode（一般以4kb为单位进行传输）
 *  4.2 第一个DataNode接收后，将数据写入本地磁盘，同时也传输给第二个DataNode
 *  4.3 依此类推到最后一个DataNode，数据在DataNode之间是通过pipeline的方式进行复制的
 *  4.4 后面的DataNode接收完数据后，都会发送一个确认给前一个DataNode，最终第一个DataNode返回确认给客户端
 *  4.5 当客户端接收到整个block的确认后，会向NameNode发送一个最终的确认信息
 *  4.6 如果写入某个DataNode失败，数据会继续写入其他的DataNode。然后NameNode会找另外一个好的DataNode继续复制，以保证冗余性
 *  4.7 每个block都会有一个校验码，并存放到独立的文件中，以便读的时候来验证其完整性

5.文件写完后（客户端关闭），NameNode提交文件（这时文件才可见，֘\#x5982;果提交前，NameNode垮掉，那文件也就丢失了。fsync：只保证数据的信息写到NameNode上，但并不保证数据已经被写到DataNode中）

**Rack aware（机架感知）**

通过配置文件指定机架名和DNS的对应关系

假设复制参数是3，在写入文件时，会在本地的机架保存一份数据，然后在另外一个机架内保存两份数据（同机架内的传输速度快，从而提高性能）

整个HDFS的集群，最好是负载平衡的，这样才能尽量利用集群的优势

![6e8b6c624b6448a4ebd266c6d81987d1.gif][]

[4e13b1fb64f09615d8f9c31f46c541cb.png_wxfrom_5_wx_lazy_1]: https://img-blog.csdnimg.cn/img_convert/4e13b1fb64f09615d8f9c31f46c541cb.png;wxfrom=5&wx_lazy=1
[6e8b6c624b6448a4ebd266c6d81987d1.gif]: /images/20220605/9ef402e97c69453b9770808bca879c40.png

发表评论取消回复

表情：

评论列表（有 0 条评论，154人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop client NameNode、DataNode节点读写文件过程

Hadoop client NameNode、DataNode节点读写文件过程读： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shad

爱被打了一巴掌/ 2024年02月19日 21:32/ 0 赞/ 44 阅读

相关 Hadoop：HDFS读写流程

文章目录一、HDFS写数据流程 1.1 剖析文件写入 1.2 副本存储节点选择二、HDFS读数据流程一、HDFS写数据流程

蔚落/ 2023年02月12日 06:27/ 0 赞/ 43 阅读

相关 php写hadoop,Hadoop --Streaming--PHP

Hadoop 支持各种语言的模型.之前的实例中都是用 JAVA 写的:http://blog.sina.com.cn/s/blog\_5f54f0be0101f6sj.html

「爱情、让人受尽委屈。」/ 2023年01月15日 09:30/ 0 赞/ 111 阅读

相关 hadoop java文件_使用java api操作Hadoop文件

1. 概述 2. 文件操作 2.1 上传本地文件到hadoop fs 2.2 在hadoop fs中新建文件，并写入 2.3 删除hadoop fs上的文件 2.4

﹏ヽ暗。殇╰゛Y/ 2022年11月02日 03:50/ 0 赞/ 133 阅读

相关 Hadoop配置文件

hadoop需要配置五个文件第一个： hadoop-env.sh 把里面的下面一行改为真正的java路径 export JAVA_HOME=/usr/loca

梦里梦外;/ 2022年07月13日 01:24/ 0 赞/ 199 阅读

相关 Hadoop进行读写文件

1，如果要向远程Hadoop服务器进行“读写”的话，需要配置`core-site.xml`中的`fs.defaultFS`。例如： <property>

矫情吗；*/ 2022年07月12日 11:17/ 0 赞/ 245 阅读

相关 hadoop文件的读写流程

2.文件的写流程 1.客户端会调用DistributedFileSystem对象的create(filePath)方法，与NameNode进行RPC通信。 2.NameN

川长思鸟来/ 2022年06月07日 07:41/ 0 赞/ 212 阅读

相关 Hadoop 写文件

HDFS - 写文件 ![4e13b1fb64f09615d8f9c31f46c541cb.png_wxfrom_5_wx_lazy_1][] 1.客户端将文件写入本地

野性酷女/ 2022年06月05日 10:46/ 0 赞/ 155 阅读

相关 Hadoop-HDFS 文件读写流程

1.HDFS写流程：客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block

妖狐艹你老母/ 2022年05月15日 04:15/ 0 赞/ 281 阅读

相关 [hadoop] hadoop分布式文件系统流程

\ 分布式文件系统在学习一个文件系统时，首先我先想到的是，学习它能为我们提供什么样的服务，它的价值在哪里，为什么要去学它。以这样的方式去理解它之后在日后的深入学习中才能够对

Bertha 。/ 2021年12月12日 23:51/ 0 赞/ 242 阅读