Hadoop 2.7.3起，HDFS block大小为128M的考量

淩亂°似流年 2024-04-18 06:58 44阅读 0赞

**思考两个问题：**

*  1，为什么HDFS block不能设置太大，也不能设置太小？
 *  2，HDFS block大小设置为128M是怎么来的？

预备知识：  
1）打印HDFS block size：

[root@master hadoop-2.6.5]# hadoop fs -stat "%o" /output/wordcount/part-00000
    134217728

其中，`134217728 字节byte(B)` = `128 M`

2）HDFS中存储数据是以块（block，这只是一个逻辑概念）的形式存储在DataNode，block大小可通过设置`HADOOP_HOME/etc/hadoop/hdfs-site.xml`中`dfs.blocksize`实现（设置时先stop集群，修改完restart集群）。在Hadoop 2.x，默认大小128M，不用设置。

<property>
    	<name>dfs.block.size</name>
    	<value>134217728</value>
    </property>

3）寻址时间：指HDFS中定位到目标block开始位置所需的时间。

*  文件块越大，寻址时间越短，但磁盘传输时间更长；
 *  文件块越小，寻址时间越长，但磁盘传输时间更短。

block 大小设置原则：最小化寻址开销。基于此，有以下考虑：

*  减少硬盘寻道时间(disk seek time)：HDFS的设计是为了支持大数据操作，合适的block大小有助于减少硬盘寻道时间（平衡了硬盘寻道时间、IO时间），提高系统吞吐量。
 *  减少NameNode内存消耗：NameNode需要在内存FSImage文件中记录DataNode中数据块信息，若block size太小，那么需要维护的数据块信息会更多。而HDFS只有一个NameNode节点，内存是极其有限的。
 *  map崩溃问题：若Map任务崩溃，重新启动执行需要重新加载数据，数据块越大，数据加载时间将越长，恢复时间越长。
 *  监管时间问题：主节点监管其他节点的情况，每个节点会周期性的把完成的工作和状态的更新报告回来。若某个节点保存沉默超过预设的时间间隔，主节点“宣告”该节点状态为死亡，并把分配给这个节点的数据发到别的节点。预设的时间间隔是根据数据块 size角度估算的，若size设置不合理，容易误判节点死亡。
 *  约束Map任务输出：MapReduce框架中Map任务输出的结果是要经过排序才给reduce函数操作的。在Map任务的merge on disk和Reduce任务中合并溢写生的文件，用到归并排序算法，对小文件进行排序，然后将小文件归并成大文件。

--------------------

**回答最初两个问题：**  
1，为什么HDFS block不能设置太大，也不能设置太小？

1）若block 设置过大，那么：

*  从磁盘传输数据所花的时间会明显 大于 寻址时间，导致程序在处理block数据变得非常慢；
 *  MapReduce中Map任务 一般一次只处理一个block数据，block过大运行速度也会很慢。

2）若block 设置过小，那么：

*  寻址时间增大，导致程序一直查找block 的开始位置；
 *  存放大量小文件将会占用NameNode中大量内存来存储元数据，但NameNode的内存是有限的。

综上所述，当 block 适当设置大一些时，将减少寻址时间，此时传输一个由多个block组成的文件的时间主要取决于磁盘的传输速率。

2，HDFS block大小设置为128M是怎么来的？

1）HDFS中平均寻址时间大概为`10ms`；  
2）经前人大量测试发现，寻址时间 为 传输时间的`1%`是最佳状态，得出最佳传输时间=`10ms / 1%`=`1000ms`=`1s`；  
3）目前磁盘的传输速率普遍为`100MB/s`（当然具体看是固态硬盘还是机械硬盘、以及硬件技术的不同）。

综上所述，可计算出最佳block size = `100MB/s * 1s`= `100MB`。由于计算机计量存储容量的惯例影响，所以默认为128M。

--------------------

参考官方文档：[Hadoop各版本官方文档][Hadoop]

*  [Hadoop 2.7.2 HdfsDesign–Data Block][Hadoop 2.7.2 HdfsDesign_Data Block]

> A typical block size used by HDFS is 64 MB.

*  [Hadoop 2.7.3 HdfsDesign–Data Block][Hadoop 2.7.3 HdfsDesign_Data Block]

> A typical block size used by HDFS is 128 MB.

PS：官方文档与实际工业生产中有出入，在实际生产中，随着硬盘技术提高，默认2.x起block大小为128M。

Hadoop FS Shell提供命令查看HDFS block的信息，语法：

{ HADOOP_HOME}/bin/hadoop fs –stat [format]

实例：

[root@master hadoop-2.6.5]# hadoop fs -stat "%b %n %o %r %y %Y %F" /output/wordcount/part-00000
    2107 part-00000 134217728 3 2019-06-28 08:47:53 1561711673766 regular file

其中，详解：

*  `%b` 打印文件大小（目录为0）
 *  `%n` 打印文件名
 *  `%o` 打印block size
 *  `%r` 打印备份数
 *  `%y` 打印UTC日期`yyyy-MM-dd HH:mm:ss`
 *  `%Y` 打印自1970年1月1日以来的UTC微秒数
 *  `%F` 目录打印`directory`, 文件打印`regular file`  
    当使用`-stat`选项但不指定format，只打印文件创建日期，相当于`%y`

[Hadoop]: http://hadoop.apache.org/docs/
[Hadoop 2.7.2 HdfsDesign_Data Block]: http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Blocks
[Hadoop 2.7.3 HdfsDesign_Data Block]: http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Blocks