HDFS中的DataNode工作机制

清疚 2022-04-04 15:26 239阅读 0赞

### HDFS中的DataNode工作机制 ###

*  1.图解
 *  2.流程简介

# 1.图解 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]

# 2.流程简介 #

**1.一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。**  
①.效验文件存在的意义？  
因为要确定数据的完整性，流程再具体

- 当DataNode读取Block的时候，它会计算CheckSum，并存储
     - DataNode在其文件创建后周期验证CheckSum
     - 如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏
     - Client读取时就会读取其他DataNode上的Block

**2.DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息**  
**3.心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用**  
番外：掉线时限参数设置  
①.图解  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 1]  
**4.集群运行中可以安全加入和退出一些机器**

**版权声明：本博客为记录本人自学感悟，转载需注明出处！**  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]: /images/20220404/f2dce431e06b47ed9fa0e9cbc83c32c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 1]: /images/20220404/99fcae3958854ee49d18e3de6554f4a8.png
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909

发表评论取消回复

表情：

评论列表（有 0 条评论，239人围观）

还没有评论，来说两句吧...

相关阅读

相关 NameNode和SecondaryNameNode、DataNode工作机制

本文目录题外话 1.NameNode和SecondaryNameNode工作机制 1.NameNode中的元数据是存储在哪里的？

秒速五厘米/ 2022年10月30日 00:33/ 0 赞/ 187 阅读

相关 HDFS核心源码解析(三)——DataNode的心跳机制

DataNode在启动之后会周期性地向NameNode发送心跳，同时DataNode也会收到来自NameNode的响应，响应内部包含了NameNode下发给DataNode的一

比眉伴天荒/ 2022年09月09日 11:00/ 0 赞/ 433 阅读

相关 HDFS工作机制

两大角色： DataNode：负责管理用户的文件数据块 NameNode：负责管理整个文件系统的元数据 NameNode的工作机制职责： 1）客户端请求的

小鱼儿/ 2022年06月07日 10:09/ 0 赞/ 183 阅读

相关 datanode工作机制详解

DATANODE 的工作机制问题场景： 1 、集群容量不够，怎么扩容？ 2 、如果有一些 datanode 宕机，该怎么办？ 3 、 datanode 明明已启动，但

痛定思痛。/ 2022年06月05日 01:30/ 0 赞/ 234 阅读

相关四十三、DataNode工作机制

DataNode工作机制 1、工作机制 ![在这里插入图片描述

阳光穿透心脏的1/2处/ 2022年05月12日 15:54/ 0 赞/ 185 阅读

相关 HDFS 原理详解【读写数据流程、NameNode与DataNode工作机制、checkpoint】

目录 HDFS的工作机制概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameNode的职责

冷不防/ 2022年04月23日 15:56/ 0 赞/ 216 阅读

相关 HDFS中的DataNode工作机制

HDFS中的DataNode工作机制 1.图解 2.流程简介 1.图解 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

清疚/ 2022年04月04日 15:26/ 0 赞/ 240 阅读

相关 Hadoop之DataNode工作机制

Hadoop之DataNode工作机制 -------------------- 目录 1. DataNode工作机制 2. 数据完整性 3. 掉线时限参数

忘是亡心i/ 2022年01月21日 08:11/ 0 赞/ 258 阅读

相关 CDH中HDFS的部分Datanode下线

1. 准备工作及调整相关参数 1. 检查 HDFS 文件系统 hdfs fsck / -list-corruptfileblocks -o

太过爱你忘了你带给我的痛/ 2021年11月17日 23:30/ 0 赞/ 1008 阅读

相关八、HDFS中的DataNode

上篇博客介绍了Hadoop源码编译，本篇主要介绍HDFS中的DataNode，关注专栏[《破茧成蝶——大数据篇》][Link 1]查看相关系列的文章~ ----

╰半夏微凉°/ 2021年08月31日 15:02/ 0 赞/ 389 阅读