clickhouse 十一（MergeTree引擎）

灰太狼 2021-06-24 13:58 602阅读 0赞

## MergeTree引擎介绍 ##

MergeTree（合并树）引擎是 clickhouse 中最为先进的表引擎，在写⼊数据时，数据总会以数据⽚段的形式写⼊磁盘，且数据⽚段不可修改。为了避免⽚段过多， clickhouse会通过后台线程，定期合并这些数据⽚段，属于相同分区的数据⽚段，会被合成⼀个新的⽚段。这种数据⽚段往复合并的特点，也正是合并树的名称由来。其主要特征有：

*  存储的数据按照主键排序：通过创建稀疏索引，从而加快数据查询速度
 *  数据分区，通过主键指定分区字段
 *  支持数据副本
 *  支持数据采样
 *  列和表的TTL

使用方式：

CREATE TABLE [IF NOT EXISTS] [db_name.]table_name (
    name1 [type] [DEFAULT|MATERIALIZED|ALIAS expr],
    name2 [type] [DEFAULT|MATERIALIZED|ALIAS expr],
    省略...
    ) ENGINE = MergeTree()
    [PARTITION BY expr]
    [ORDER BY expr]
    [PRIMARY KEY expr]
    [SAMPLE BY expr]
    [SETTINGS name=value, 省略...]

*  ENGINE\[必填\]：选择使用的的引擎，MergeTree引擎没有参数。
 *  PARTITION BY\[选填\]：分区键，⽤于指定表数据以何种方式进⾏分区。分区键既可以是单个或多个列字段，如果不声明分区键，则ClickHouse会⽣成⼀个名为all的分区。
 *  PRIMARY KEY\[选填\]：主键，用于⽣成⼀级索引，⽤于加速表查询。主键与排序键相同，所以通常直接使⽤ORDER BY代为指定主键。
 *  ORDER BY\[必填\]：排序键，⽤于指定在⼀个数据⽚段内，数据以何种标准排序。默认情况下主键与排序键相同，排序键即可以是单个列字段，如 ORDER BY name1，也可以通过元组的形式使⽤多个列字段，例如： ORDER BY（name1，name2）。如不需要排序，则可以使用ORDER BY tuple()，创建的表也就不包含主键，这时ClickHouse会按照插入的顺序存储数据。
 *  SAMPLE BY\[选填\]：抽样表达式，如果指定了该字段，那么主键中也必须包含该字段。比如SAMPLE BY intHash32(UserID) ORDER BY (CounterID, EventDate, intHash32(UserID))。可选。
 *  SETTINGS： index\_granularity\[选填\]  
    index\_granularity对于MergeTree⽽⾔是⼀项⾮常重要的参数，它表示索引的粒度，默认值为8192。
 *  TTL\[选填\]：TTL 可以设置值的生命周期，它既可以为整张表设置，也可以为每个列字段单独设置，表达式的计算结果必须是 日期 或 日期时间 类型的字段。

示例：

CREATE TABLE test.user_test
    (
        `total_date` Date,
        `user_id` Int32,
        `user_name` Int32,
        `app` String
    )
    ENGINE = MergeTree()
    PARTITION BY (total_date, app)
    ORDER BY user_id
    TTL total_date + toIntervalMonth(1)
    SETTINGS index_granularity = 8192;

搭配分布式表使用，负责将查询分发到每一个clickhouse的分片中

CREATE TABLE test.user_test_all
    (
        `total_date` Date,
        `user_id` Int32,
        `user_name` Int32,
        `app` String
    )
    ENGINE = Distributed('ck_cluster', 'test', 'user_test', sipHash64(user_id));

参考书籍：ClickHouse原理解析与应用实践