hadoop大数据集群中更换磁盘，balance的速度缓慢问题（解决）

痛定思痛。 2024-03-24 23:17 55阅读 0赞

### hadoop大数据集群中更换磁盘，balance的速度缓慢问题（解决） ###

![在这里插入图片描述][2f82dee237c8453e8e6c6bd8276e6fa7.png]  
看现象只有4个bloucks在执行的

调整参数：

增大配置参数，观察重新负载的速度

修改配置文件 hdfs-site.xml
    dfs.datanode.balance.max.concurrent.moves=100
    dfs.balancer.max-size-to-move=21474836480
    dfs.balancer.moverThreads=1300
    dfs.balabcer.getBlocks.size=4294967296
    dfs.datanode.balance.bandwidthPerSec=20971520

以上参数需要重启hdfs  
参数说明：  
dfs.datanode.balance.max.concurrent.moves：此参数定义了数据平衡器并行移动数据块的最大并发数。它限制了同时进行数据移动的任务数量。

dfs.balancer.max-size-to-move：该参数定义了数据平衡器所能移动的单个数据块的最大大小。超过此大小的数据块将不会被移动。

dfs.balancer.moverThreads：此参数指定了数据平衡器使用的线程数。它决定了同时执行数据移动任务的线程数量。

dfs.balancer.getBlocks.size：该参数定义了在进行数据平衡期间每次获取数据块信息的最大数量。当数据平衡器需要了解 DataNode 上的数据块分布时，它可以请求获取这些信息。

dfs.datanode.balance.bandwidthPerSec：此参数定义了每秒钟用于数据平衡的最大带宽限制。它限制了数据平衡器在集群中移动数据时的带宽使用

查看默认参数的命令：

hdfs getconf -confKey dfs.datanode.balance.max.concurrent.moves

还需要调整的参数：  
![在这里插入图片描述][ef3f0bf4f06a4601bbd732f68640948c.png]  
dfs.namenode.replication.max-streams：该参数用于指定在同一时间内执行数据块复制操作的最大流数。具体来说，它限制了在复制过程中可以并行进行的数据块传输流的数量。默认情况下，它的值等于 dfs.namenode.replication.work.multiplier.per.iteration 的值。

dfs.namenode.replication.max-streams-hard-limit：这是一个硬限制参数，用于限制在同一时间内执行数据块复制操作的最大流数。与上述参数相比，它提供了一种更强制的限制，无论 dfs.namenode.replication.work.multiplier.per.iteration 的值如何，都不会超过该硬限制。如果未设置该参数，它的值将等于 dfs.namenode.replication.max-streams 的值。

dfs.namenode.replication.work.multiplier.per.iteration：该参数用于控制每次迭代期间执行的复制工作量。它表示每次迭代中生成新的复制任务的数量。具体来说，每个迭代将根据 dfs.replication 的值和该参数的乘积来生成复制任务。例如，如果 dfs.replication 为 3，dfs.namenode.replication.work.multiplier.per.iteration 为 2，则每次迭代会生成 6 个复制任务。默认情况下，该参数的值为 4。

dfs.replication.considerLoad：该参数在进行数据块复制操作时，考虑数据节点的负载情况。默认值为 true，即复制操作会考虑数据节点的负载情况来分配任务。如果希望在进行数据块复制时忽略节点的负载情况，可以将该参数设置为 false。

![在这里插入图片描述][b46dff82b2f2477e98a42a2655720600.png]

速度快了很多的

[2f82dee237c8453e8e6c6bd8276e6fa7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/74c6aa47719945d697e8b89bd5e2b450.png
[ef3f0bf4f06a4601bbd732f68640948c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/8a88eba1f6f149a390722523e3d16b93.png
[b46dff82b2f2477e98a42a2655720600.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/b19eefe7b9214b91bd77d3f48e8a1b9c.png