hdfs disk balancer 磁盘均衡器

心已赠人 2024-03-24 08:39 64阅读 0赞

#### 文章目录 ####

*  1、背景
 *  2、hdfs balancer和 hdfs disk balancer有何不同？
 *  3、操作
 *   *  3.1 生成计划
     *  3.2 执行计划
     *  3.3 查询计划
     *  3.4 取消计划
 *  4、和disk balancer相关的配置
 *  5、额外知识点
 *   *  5.1 新的block存储到那个磁盘(卷)中
     *  5.2 磁盘数据密度度量标准
 *  6、参考文档

## 1、背景 ##

在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。**比如：** 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡呢？借助Hadoop提供的`Diskbalancer`命令行工具可以实现。

## 2、hdfs balancer和 hdfs disk balancer有何不同？ ##

`hdfs balancer：` 是为了集群中DataNode的数据均衡，即针对多个DataNode的。  
![hdfs balancer][]

`hdfs disk balancer：` 是为了使单台DataNode中的多个磁盘中的数据均衡。  
![hdfs disk balancer][]

`注意：` 目前`DiskBalancer`不支持跨存储介质（`SSD`、`DISK`等）的数据转移，所以磁盘的均衡都是要求在一个storageType下的。因为hdfs中存在`异构存储`。

## 3、操作 ##

### 3.1 生成计划 ###

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -plan hadoop01 -out hadoop01-plan.json

`-plan:` 后面接的是主机名。  
`-out:` 指定计划文件的输出位置。  
![生成计划][30c4c8d5ab5746a2b17f872bcd69b5ef.png]

### 3.2 执行计划 ###

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -execute hadoop01-plan.json

![执行计划][bf33d7ab80d74b25b22a6435ac47a62e.png]

### 3.3 查询计划 ###

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -query hadoop01

`-query` 后面跟的是 主机名

![查询计划][3e58119fc38d4351a440faa7157f446a.png]

### 3.4 取消计划 ###

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -cancel hadoop01-plan.json

![取消计划][276f9d66b8274bf6852bdb7e077773f2.png]

## 4、和disk balancer相关的配置 ##

<table> 
 <thead> 
  <tr> 
   <th align="left">配置</th> 
   <th align="left">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>dfs.disk.balancer.enabled</code></td> 
   <td align="left">此参数控制是否为集群启用diskbalancer。如果未启用，任何执行命令都将被DataNode拒绝。默认值为true。</td> 
  </tr> 
  <tr> 
   <td align="left"><code>dfs.disk.balancer.max.disk.throughputInMBperSec</code></td> 
   <td align="left">这控制了diskbalancer在复制数据时消耗的最大磁盘带宽。如果指定了10MB之类的值，则diskbalancer平均只会复制10MB/S。默认值为10MB/S。</td> 
  </tr> 
  <tr> 
   <td align="left"><code>dfs.disk.balancer.max.disk.errors</code></td> 
   <td align="left">设置能够容忍的在指定的移动过程中出现的最大错误次数，超过此阈值则失败。例如，如果一个计划有3对磁盘要在其中复制，并且第一个磁盘集遇到超过5个错误，那么我们放弃第一个副本并启动计划中的第二个副本。最大错误的默认值设置为5。</td> 
  </tr> 
  <tr> 
   <td align="left"><code>dfs.disk.balancer.block.tolerance.percent</code></td> 
   <td align="left">设置磁盘之间进行数据均衡操作时，各个磁盘的数据存储量与理想状态之间的差异阈值。取值范围[1-100]，默认为10。例如，各个磁盘的理想数据存储量为100 GB，此参数设置为10。那么，当目标磁盘的数据存储量达到90 GB时，则认为该磁盘的存储状态就已经达到预期。</td> 
  </tr> 
  <tr> 
   <td align="left"><code>dfs.disk.balancer.plan.threshold.percent</code></td> 
   <td align="left">设置在磁盘数据均衡中可容忍的两磁盘之间的数据密度域值差，取值范围[1-100]，默认为10。如果任意两个磁盘数据密度差值的绝对值超过了阈值，则说明需要对该的磁盘进行数据均衡。例如，如果一个2盘节点上的总数据为100 GB，那么磁盘均衡器计算每个磁盘上的期望值为50 GB。如果容差为10%，则单个磁盘上的数据需要大于60 GB（50 GB + 10%容差值），DiskBalancer才能开始工作。</td> 
  </tr> 
  <tr> 
   <td align="left"><code>dfs.disk.balancer.plan.valid.interval</code></td> 
   <td align="left">磁盘平衡器计划有效的最大时间。支持以下后缀（不区分大小写）：ms（milis）、s（sec）、m（min）、h（h）、d（day）以指定时间（例如2s、2m、1h等）。如果未指定后缀，则假定为毫秒。默认值为1d</td> 
  </tr> 
 </tbody> 
</table>

## 5、额外知识点 ##

### 5.1 新的block存储到那个磁盘(卷)中 ###

当数据写入新的block时，DataNode会根据策略选择不同的磁盘来存储。

`循环策略：` 默认策略，将新的块均匀的分布在可用的磁盘上，可能造成数据倾斜。

`可用空间策略：` 选择更多可用空间(按百分比)的磁盘。可能造成在某段时间内，某个磁盘的IO压力变大。

### 5.2 磁盘数据密度度量标准 ###

![磁盘数据密度度量标准][6d158e2735324654b43bf160b6d98d55.png]  
**上图来自** `https://www.bilibili.com/video/BV11N411d7Zh/?p=81`

## 6、参考文档 ##

1、[https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html][https_hadoop.apache.org_docs_current_hadoop-project-dist_hadoop-hdfs_HDFSDiskbalancer.html]  
2、[https://help.aliyun.com/document\_detail/467585.html][https_help.aliyun.com_document_detail_467585.html]  
3、[https://www.bilibili.com/video/BV11N411d7Zh/?p=81][https_www.bilibili.com_video_BV11N411d7Zh_p_81]

[hdfs balancer]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/78f44e20ef694539bf71190ffb4d4869.png
[hdfs disk balancer]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/7ece183075864f6b9098937a4cac1078.png
[30c4c8d5ab5746a2b17f872bcd69b5ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/9f48e8e4fa2743248bf529501d383862.png
[bf33d7ab80d74b25b22a6435ac47a62e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3197489fe49748cdbe6972d697fc4f20.png
[3e58119fc38d4351a440faa7157f446a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/a9529a7c2fae47c2b22e29d563529251.png
[276f9d66b8274bf6852bdb7e077773f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/5a8576035b604fadbe02bf900229428f.png
[6d158e2735324654b43bf160b6d98d55.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3d6451aef8c54b3caabd92f3c41b860e.png
[https_hadoop.apache.org_docs_current_hadoop-project-dist_hadoop-hdfs_HDFSDiskbalancer.html]: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html
[https_help.aliyun.com_document_detail_467585.html]: https://help.aliyun.com/document_detail/467585.html
[https_www.bilibili.com_video_BV11N411d7Zh_p_81]: https://www.bilibili.com/video/BV11N411d7Zh/?p=81