ClickHouse和他的朋友们（14）存储计算分离方案与实现

柔光的暖阳◎ 2022-12-31 01:09 133阅读 0赞

原文出处：https://bohutang.me/2020/09/18/clickhouse-and-friends-compute-storage/

![format_png][]

最后更新: 2020-09-18

如果多个 ClickHouse server 可以挂载同一份数据(分布式存储等)，并且每个 server 都可写，这样会有什么好处呢？

首先，我们可以把副本机制交给分布式存储来保障，上层架构变得简单朴素；

其次，clickhouse-server 可以在任意机器上增加、减少，使存储和计算能力得到充分发挥。

本文就来探讨一下 ClickHouse 的存储计算分离方案，实现上并不复杂。

## 1. 问题 ##

ClickHouse 运行时数据由两部分组成：内存元数据和磁盘数据。

我们先看写流程：

w1. 开始写入数据
    w2. 生成内存part信息，并维护part metadata列表
    w3. 把part数据写到磁盘

再来看读流程：

r1. 从part metadata定位需要读取的part
    r2. 从磁盘读取part数据
    r3. 返回给上层数据

这样，如果 server1 写了一条数据，只会更新自己内存的 part metadata，其他 server 是感知不到的，这样也就无法查询到刚写入的数据。

存储计算分离，首先要解决的就是内存状态数据的同步问题。

在 ClickHouse 里，我们需要解决的是内存中 part metadata 同步问题。

## 2. 内存数据同步 ##

在上篇 <**ReplicatedMergeTree表引擎及同步机制**> 中，我们知道副本间的数据同步机制：首先同步元数据，再通过元数据获取相应part数据。

这里，我们借用 ReplicatedMergeTree 同步通道，然后再做减法，同步完元数据后跳过 part 数据的同步，因为磁盘数据只需一个 server 做更新(需要 fsync 语义)即可。

核心代码：MergeTreeData::renameTempPartAndReplace

if (!share_storage)
            part->renameTo(part_name, true);

## 3. 演示demo ##

script：

1.  首先起 2 个 clickhouse-server，它们都挂载同一份数据 `<path>/home/bohu/work/cluster/d1/datas/</path>`
2.  通过 clickhouse-server1(port 9101) 写入一条记录:(111, 3333)
3.  通过 clickhouse-server2(port 9102) 进行查询正常
4.  通过 clickhouse-server2(port 9102) truncate 表
5.  通过 clickhouse-server1(port 9101) 查询正常

## 4. 代码实现 ##

原型(https://github.com/BohuTANG/ClickHouse/commit/f67d98ef408fda1a359e4fb17848619ef1f6e59b) 需要注意的是，这里只实现了写入数据同步，而且是非常 tricky 的方式。

由于 DDL 没有实现，所以在 zookeeper 上的注册方式也比较 tricky，demo 里的 replicas 都是手工注册的。

## 5. 总结 ##

本文提供一个思路，算是抛砖引玉，同时也期待更加系统的工程实现。

ClickHouse 暂时还不支持 Distributed Query 功能，如果这个能力支持，ClickHouse 存储计算分离就是一个威力无比的小氢弹。

全文完。

Enjoy ClickHouse :)

叶老师的「MySQL核心优化」大课已升级到MySQL 8.0，扫码开启MySQL 8.0修行之旅吧

![format_png 1][]

[format_png]: /images/20221120/d2bb101a47f8446db04e845bbb07b3e8.png
[format_png 1]: /images/20221120/821234bd68ee4dc28efe76a60ca2aa3d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，133人围观）

还没有评论，来说两句吧...

相关阅读

相关 ClickHouse和他的朋友们（14）存储计算分离方案与实现

原文出处：https://bohutang.me/2020/09/18/clickhouse-and-friends-compute-storage/ ![format_pn

柔光的暖阳◎/ 2022年12月31日 01:09/ 0 赞/ 134 阅读

相关 ClickHouse和他的朋友们（10）MergeTree Write-Ahead Log

原文出处：https://bohutang.me/2020/08/18/clickhouse-and-friends-merge-tree-wal/ 最后更新: 2020-0

小鱼儿/ 2022年12月31日 01:09/ 0 赞/ 186 阅读

相关 ClickHouse和他的朋友们（6）MergeTree存储结构

上篇的 [存储引擎技术进化与MergeTree][MergeTree] 介绍了存储算法的演进。存储引擎是一个数据库的底盘，一定要稳和动力澎湃。接下来我们将一起来探索下

男娘i/ 2022年12月20日 15:48/ 0 赞/ 234 阅读

相关 ClickHouse和他的朋友们（4）Pipeline处理器和调度器

原文出处：https://bohutang.me/2020/06/11/clickhouse-and-friends-processor/ 本文谈下 ClickHouse 核

ゝ一纸荒年。/ 2022年12月16日 10:53/ 0 赞/ 194 阅读

相关 ClickHouse和他的朋友们（3）MySQL Protocol和Write调用栈

原文出处：https://bohutang.me/2020/06/08/clickhouse-and-friends-mysql-protocol-write-stack/

迷南。/ 2022年12月12日 04:46/ 0 赞/ 189 阅读

相关 ClickHouse和他的朋友们（1）编译、开发、测试

原文出处：https://bohutang.me/2020/06/05/clickhouse-and-friends-development/ 一次偶然的机会，和ClickH

比眉伴天荒/ 2022年12月11日 12:29/ 0 赞/ 177 阅读

相关 ClickHouse和他的朋友们（9）MySQL实时复制与实现

原文出处：https://bohutang.me/2020/07/26/clickhouse-and-friends-mysql-replication/ ![format_

谁践踏了优雅/ 2022年11月27日 01:00/ 0 赞/ 148 阅读

相关 ClickHouse和他的朋友们（5）存储引擎技术进化与MergeTree

21 世纪的第二个 10 年，虎哥已经在存储引擎一线奋战近 10 年，由于强大的兴趣驱动，这么多年来几乎不放过 arXiv 上与存储相关的每一篇 paper。尤其是看到带有 d

逃离我推掉我的手/ 2022年11月20日 13:57/ 0 赞/ 213 阅读

相关 ClickHouse和他的朋友们（15）Group By 为什么这么快

在揭秘 ClickHouse Group By 之前，先聊聊数据库的性能对比测试问题。在虎哥看来，一个“讲武德”的性能对比测试应该提供什么信息呢？首先要尊重客观事实，

一时失言乱红尘/ 2022年10月24日 01:47/ 0 赞/ 237 阅读

相关 Peter和他的朋友们

做公众号最大的收获就是遇到了一些大佬，技术很好，人也很nice，今天推荐几个嵌入式、电子方向的大佬。公众号那么多，文章是看不完的，但我们可以选择一些优质的公众号，学习技术，汲取

太过爱你忘了你带给我的痛/ 2022年10月16日 07:25/ 0 赞/ 157 阅读