Hadoop-HDFS简单介绍

末蓝、 2022-10-11 03:56 26阅读 0赞

## HDFS概述 ##

HDFS是一种分布式文件管理系统（我们的电脑是NTFS ，还有熟悉的FDFS），适合一次写入，多次读出的场景，不支持文件的修改，适合用来做数据分析。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]

### 组成架构 ###

NameNode（NM），就是HDFS的Master，是管理节点；管理HDFS的名称空间；配置副本策略；管理数据快映射信息；处理客户端读写请求。

DataNode（DN），就是Slave，NM下发命令，DN执行实际的操作；存储实际的数据块；执行数据块的读写操作。

Client就是客户端，进行文件切分，文件上传到HDFS的时候，如果文件大于块大小（默认128M）则Client会将文件切分成一个一个的Block，然后进行上传；与NN交互，获取文件的位置信息；与DN交互，读取或者写入数据；并提供一些命令来管理和访问HDFS。

SecondaryNameNode，并不是NN的热备，当NN挂掉之后，并不能马上替换NN并提供服务；辅助NN分担其工作；在紧急情况下，可辅助恢复NN。

### HDFS文件块大小 ###

HDFS的文件在物理上是分块存储的（Block），块的大小可以通过配置参数dfs.blocksize来规定，默认Hadoop2.x版本中默认128M。

寻址时间为传输时间的1%时，则为最佳状态，其中寻址时间就是找到目标block的时间，目前普遍的硬盘传输速率为100MB/s，因此定的默认为128MB，这个块大小与硬盘的传输速率有关。

如果HDFS的块设置的太小，会增加寻址时间；如果设置得太大，磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时会非常慢。

**HDFS的大小设置主要取决于磁盘传输速率。**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]: /images/20221005/423a222659574329921d4faf02b12871.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]: /images/20221005/a23fb0ea54b24649adb6397e0d40f5e0.png