Doris 数据副本分区均衡策略，fromBe has no replica in the map, can‘t move

超、凢脫俗 2024-04-01 09:24 10阅读 0赞

#### 文章目录 ####

*  前言
 *  一、分区负载均衡
 *  二、问题来了
 *   *  1. 进一步验证
     *  2. 解决

--------------------

## 前言 ##

> 当前使用 Doris 版本为 `0.14`

某天观察到线上 Doris 集群资源使用情况，发现整体上内存、CPU 使用率较低，为降低成本进行了一波缩容操作。

缩容之后，大部分业务都能正常运行，但对于一些大吞吐的查询速度慢了很多，或者根本跑不出来。

![在这里插入图片描述][2c5a637af63044fabb3119b753cd9135.png]

进一步分析发现分区数据分布不均匀，出现的情况是，一部分节点数据多、一部分节点数据少，当查询计划具体分配到 BE 节点体现为部分节点负载高、部分负载低。

![在这里插入图片描述][8c8f5506ba3946d0afff902e91fd8598.png]

--------------------

## 一、分区负载均衡 ##

Doris 默认采用 「BeLoad」均衡策略，是按照磁盘负载来均衡数据。在单表来看，可能存在数据无法均衡到每个节点的问题，如：

![在这里插入图片描述][525331d9d75242dc8ecdb1a73e48f3e3.png]

官方对副本均衡的解释：

![在这里插入图片描述][d390a76bc9b84f46bbca84e2e9f470da.png]

尝试使用「分区均衡」策略，尽可能将每个表的数据均分到各节点上，官方文档说明：

![在这里插入图片描述][23ab1dcae8bc419598513e5a647c0ff9.png]  
FE 参数配置：

![在这里插入图片描述][bde0462cb80c41ec96809cea34422553.png]

官方文档链接：[FE配置][FE]、[均衡策略][Link 1]

## 二、问题来了 ##

按照上述文档进行操作后，出现问题：

![在这里插入图片描述][1f9d08d74bee4e9d91c1f3a0e94c3517.png]

排查后发现，分区均衡有个已知 bug，[Github\#doris\#7213][Github_doris_7213] （在高版本中修复）

![在这里插入图片描述][85f19241893048ad92a53b12ab1bef03.png]

大致意思是，如果某个节点上的 SSD 或者 HDD 磁盘没有数据，统计该盘分区副本数量的时候就置为 0，而这个 0 在后期处理的时候直接抛异常，后续操作无法继续进行 …

我看了下，我们目前 仅 HDD 盘上有数据，处理到 SSD 就出问题了。

![在这里插入图片描述][951d924e29ee4e62b1822c214e0b954a.png]

> `注`：HDD 和 SSD 都是逻辑上的划分，并不一定是你实际使用的磁盘介质，比如你可能只使用了 SSD，Doris 在处理时还是两种都会处理。

### 1. 进一步验证 ###

对比 debug log （需要手动开启）和 0.14 源码逻辑：

1）debug log：

![在这里插入图片描述][61db2a697ae94044b527bd1f32208cf7.png]  
2）均衡逻辑片段：

![在这里插入图片描述][fe3a9ed312e14259a416a700e39f8b67.png]

对比可以发现，确实是已知 bug 导致，它这里是要先把两种介质「待均衡的分区副本」全部找出来，然后再进行迁移。

处理 HDD 是没问题的，到了 SSD 抛了异常，导致整个过程没做任何迁移。

### 2. 解决 ###

将 Doris 升级到更高版本（1.xx），升级了再考虑分区均衡策略。

Doris 升级至 1.1 之后，采用分区均衡策略，数据已均匀分布，如下：

![在这里插入图片描述][6e2cb076fedf4924a9c309741f61cb40.png]

[2c5a637af63044fabb3119b753cd9135.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9f3f7490f4da488e8691bd7236c1fdf6.png
[8c8f5506ba3946d0afff902e91fd8598.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f32c75266c2641e78dc5970bbc69f238.png
[525331d9d75242dc8ecdb1a73e48f3e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1b0f8440e4e54739814b1b49e015c7c3.png
[d390a76bc9b84f46bbca84e2e9f470da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/6d19407c5dfa40da803cf1ace697e0c8.png
[23ab1dcae8bc419598513e5a647c0ff9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8a1fb648714c42bf84f7d657a6fd5362.png
[bde0462cb80c41ec96809cea34422553.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/34be1a5e61f24cdaa8d2de9b313d621f.png
[FE]: https://doris.apache.org/zh-CN/docs/0.15/administrator-guide/config/fe_config
[Link 1]: https://doris.apache.org/zh-CN/docs/0.15/administrator-guide/operation/tablet-repair-and-balance#%E5%89%AF%E6%9C%AC%E5%9D%87%E8%A1%A1
[1f9d08d74bee4e9d91c1f3a0e94c3517.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/61a31ebccaef4f0d96e4c1eaf0af9057.png
[Github_doris_7213]: https://github.com/apache/doris/pull/7213
[85f19241893048ad92a53b12ab1bef03.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/fb6142526dc64997a0de74cdea4c5505.png
[951d924e29ee4e62b1822c214e0b954a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/817244d555554b568b6c596f17715104.png
[61db2a697ae94044b527bd1f32208cf7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/bd6a10b6ca154155b248d61e82605c2a.png
[fe3a9ed312e14259a416a700e39f8b67.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f6ac52f1f82f4780b84095b5e696a1b6.png
[6e2cb076fedf4924a9c309741f61cb40.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/cb2cedfd98594b5494a256938579f8c3.png