HDFS写数据流程【重点】

╰半夏微凉° 2023-10-14 11:58 33阅读 0赞

![up-6981e619e4e35e4c0055b3c707f804502e7.png][]

1.首先，客户端通过DistributedFileSystem模块向NameNode请求上传文件。

2.NameNode收到请求后，会检查该用户是否有上传权限、以及检查目录结构（目录是否存在），如果这两者都满足则返回客户端可以上传文件的信息，否则任意一个不满足都会直接报错。

3.接着，客户端根据文件的大小进行切分，默认128MB一块，切分完成之后会向NameNode发送请求，第一个block块上传到哪些服务器上。

4.NameNode收到请求之后，会根据网络拓扑和机架感知以及副本机制进行文件分配，返回可用的DataNode的地址给Client客户端。

> 注：Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存三份，存储策略为本地一份，同机架内其他任意节点一份，不同机架的任意节点上一份。

5.Client客户端收到地址之后，会与第一个datanode进行通信，请求建立block传输通道，datanode1收到请求后会继续调用datanode2，datanode2再调用datanode3，完成block传输通道。block管道建立完成后，会逐级地应答客户端。

5.接着， 客户端 以packet为单位开始向datanode1发送第一个block，datanode1收到一个packet就会发送给datanode2、然后datanode2再发送给datanode3。  **每传完一个packet就会放入一个应答队列等待应答。**

6. 当一个 B lock传输完成之后，客户端再次请求 N ameNode上传第二个 Block的服务，.......。（重复 执行 3 -5 步）

7.最后，  客户端调用FSDataOutputStream的 close 方法关闭流对象  。再  调用 DistributedFileSystem 对象的 complete 方法，通知 NameNode 文件写入成功。

Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path file = new Path("demo.txt");
    FSDataOutputStream outStream = fs.create(file);
    out.write("Welcome to HDFS Java API !!!".getBytes("UTF-8")); 
    outStream.close();

> 写数据流程视频讲解： [ 55\_尚硅谷\_Hadoop\_HDFS\_写数据流程\_哔哩哔哩\_bilibili ][55_Hadoop_HDFS_bilibili]

**相关问题：**

**1.HDFS的写入过程中，如果一台机器宕机，HDFS怎么保证数据的一致性？**

答：如果在写入时，一个DataNode挂掉的话，NameNode不会重新分配一个DataNode，而是会将已经写好的数据放置到queue的顶端，并将挂掉的DataNode移除pipeline管道，继续将数据写入到剩余的DataNode中。在写入结束后，NameNode会检查DataNode的信息，如果发现partition没有达到配置的数量要求（default=3），则会寻找一个新的DataNode存放副本。

**2.HDFS的写入过程中，如果只存活一台机器又会发生什么情况？**

答：如果HDFS集群只有一台机器存活，那么会导致以下几种情况：

**（1）数据不可用：**  HDFS是一个分布式文件系统，它会将文件分割成块并存储在不同的结点上，如果只有一台机器存活，那么整个集群的数据将无法访问，因为他们无法从其他机器中检索数据。

**（2）数据损坏丢失：**  如果HDFS只有一台机器存活并且存储了某些数据的话，那么在该机器发生故障时，这些数据可能会损坏。在这种情况下，HDFS无法从其他节点中检索数据，因此数据可能会永久丢失。

**（3）系统停止工作：**  Hadoop集群是一个分布式系统，它需要多个结点协同工作，如果只有一台机器存活，它将无法执行工作负载，因此整个系统可能会停止工作。

**3.Hadoop中有一些节点挂了会有影响吗？**

Hadoop集群中的结点挂掉会对整个集群产生影响，具体包括以下方面：

**（1）数据丢失：**  如果挂掉的结点上存储了重要的数据块，而这些数据块没有备份，那么这些数据就会永久丢失。

**（2）故障转移：**  如果挂掉的结点上运行着关键的服务（如NameNode、ResourceManager），则这些服务将无法正常工作。此时，Hadoop集群中的其他节点需要接管这些服务并进行故障转移，以保证整个集群的可用性。

**（3）资源利用率下降：**  如果一个节点挂掉，那么它上面运行的所有任务都会终止。为了保证集群资源的充分利用，这些任务必须重新调度到其他节点上运行，这可能会导致整个集群的资源利用率下降。

**4.HDFS备份文件数量是多少？写入数据时是写完一个文件就返回还是所有备份写完才返回？**

答：HDFS的默认副本数量是3个

上传文件时默认情况下是要等待所有备份都成功写入才会返回，这个可以通过  修改dfs.client.block.write.replace-datanode-on-failure.policy参数来更改，默认情况下此参数的值为DEFAULT，即需要等待所有备份都成功写入才会返回。

**5.DataNode备份过程需不需要客户端参与？**

在HDFS分布式文件系统中，DataNode备份过程不需要客户端参与。备份是DataNode之间进行的，由正在写入数据的DataNode向其它DataNode复制数据块，这个过程是自动发生的，不需要客户端参与。

备份过程的目的是为了提高数据的可用性和可靠性，当某个DataNode宕机或者发生故障时，可以从备份中快速恢复数据，保证数据不会丢失。

[up-6981e619e4e35e4c0055b3c707f804502e7.png]: https://oscimg.oschina.net/oscnet/up-6981e619e4e35e4c0055b3c707f804502e7.png
[55_Hadoop_HDFS_bilibili]: https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fwww.bilibili.com%2Fvideo%2FBV1Qp4y1n7EN%3Fp%3D55%26vd_source%3Dcd1022f068ce9ec092d3068164329eec