轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.29 【重要必掌握】经典面试题之HDFS写数据流程

超、凢脫俗 2024-03-22 18:28 3阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.29 【重要!必掌握】经典面试题之HDFS写数据流程

![在这里插入图片描述][51075383bc7c40a3892f306647d9da3c.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.29 【重要!必掌握】经典面试题之HDFS写数据流程 ######

![在这里插入图片描述][e442acd0bb954562a97aab6aa6ad0204.png_pic_center]

现在我们有这么一个150M 大小的文件，两个块，使用`-put` 上传到HDFS 文件系统中。

如何实现的？

![在这里插入图片描述][7d36692f5f494f9cb2e0d0cfd353ede4.png_pic_center]

客户端Client 可以是命令行也可以是Java 代码

首先会创建一个分布式的文件系统 `DistributeFileSystem`

![在这里插入图片描述][4f366eef4fbd42f8bacfdfb3bfe70645.png_pic_center]

源码中

![在这里插入图片描述][b693466021e442748c6566dd8caf4bba.png_pic_center]

就是这个实现类

通过`DistributeFileSystem` 和 NN 进行交互

![在这里插入图片描述][927f8e3f86764a23ae4b4497e0b222c1.png_pic_center]

![在这里插入图片描述][cdbd4ce0176a44ab9ea47d6e2dbe557b.png_pic_center]

如果现在NN 工作状态正常，也有可能出现不能成功的情况，比如本地待上传文件和服务器中的已有文件重名，即存在会直接报错

![在这里插入图片描述][d60ea30002a54c80a7f9bb76b8163cf7.png_pic_center]

所以NN 会先进行一些检查工作：

![在这里插入图片描述][b3b8530a923649ab889724d70b4ed820.png_pic_center]

如果条件都满足，NN 会告诉客户端`可以上传`

![在这里插入图片描述][6c810b42f40446e89278708268d8010a.png_pic_center]

由于我们的文件大小大于了一个Block 的默认大小，所以会被切开

![在这里插入图片描述][6ff4c44b74d1420888965dcd4c11e194.png_pic_center]

所以首先先上传第一个Block

![在这里插入图片描述][8a4641c0a4214ccbb9bcd34ed44a5f9d.png_pic_center]

接着NN (进行元数据管理)，根据副本摆放策略，决定并告诉客户端来的这个Block 放在哪个DN 上

![在这里插入图片描述][23b93fb35a05474eaa6e3e697a56f280.png_pic_center]

接着客户端会利用 `FSDataOutputStream` 进行写入操作，

![在这里插入图片描述][b12ba213aa294210932ba9034e3d8e7c.png_pic_center]

这里要注意，客户端只会和DN 1进行通信，和其他DN 的通信不是由客户端完成的

![在这里插入图片描述][24b444a87ae24df59a22e3fb77b2b485.png_pic_center]

建立连接成功之后，客户端开始写入数据

这里有个`单位` packet(默认 64K)，粗略可以理解为数据是以一个一个的包来进行传输的

![在这里插入图片描述][d8763a19e9cc4c609bb134d27df3bdfc.png_pic_center]

> DN 中有队列

等第一个Block 上传完成，Client 会再次告诉NN 我要上传第二个Block 了，NN 又告诉客户端这个Block 要放在哪儿，然后重复一次传输流程。

总结的说：

1.  发请求
2.  可以上传，才开始上传，NN 根据摆放策略告诉Client 位置
3.  Block 依次上传

所有操作完成后，记得该关的东西要关

![在这里插入图片描述][14c50c725dc14e07ab60d0a6de52d35e.png_pic_center]

[51075383bc7c40a3892f306647d9da3c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c005d882066a4e639fe531b49f0fa3a7.png
[e442acd0bb954562a97aab6aa6ad0204.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/1c113113c8764e329306005db2a2858c.png
[7d36692f5f494f9cb2e0d0cfd353ede4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c168cbae005440d2a8f241f79db53829.png
[4f366eef4fbd42f8bacfdfb3bfe70645.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/2664b80559284a31af1f686f093e9abc.png
[b693466021e442748c6566dd8caf4bba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/cce5ff4b215148cf9b9ac68fccc266f3.png
[927f8e3f86764a23ae4b4497e0b222c1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/1a76fbd0616045038026cd2f4edafcdf.png
[cdbd4ce0176a44ab9ea47d6e2dbe557b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c58309f6c5c145bc9a30abfded6591ad.png
[d60ea30002a54c80a7f9bb76b8163cf7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/84f00ae0579146dc9b20b7cf6aa07951.png
[b3b8530a923649ab889724d70b4ed820.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/5ae15da7489146538cef0e3ac4ef2286.png
[6c810b42f40446e89278708268d8010a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/f343c7fac440429e8e33b05366a7478a.png
[6ff4c44b74d1420888965dcd4c11e194.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/6719b7ffc984472a93aa1c6ea5475e92.png
[8a4641c0a4214ccbb9bcd34ed44a5f9d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/cd8a6f3e590848e7bd814bad33321865.png
[23b93fb35a05474eaa6e3e697a56f280.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c0fd2cb100a44efbb5156637523a65c0.png
[b12ba213aa294210932ba9034e3d8e7c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/acdad9a6865544df92cacdfa7124f687.png
[24b444a87ae24df59a22e3fb77b2b485.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/b447c89130de4c6c95034374d8a5595c.png
[d8763a19e9cc4c609bb134d27df3bdfc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d1788cdc17274f1c930b4382ee4017bd.png
[14c50c725dc14e07ab60d0a6de52d35e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c24162f350284b44b516f48e10c6a5b6.png