Elasticsearch数据建模

逃离我推掉我的手 2023-07-01 11:56 3阅读 0赞

> 本文基于Elasticsearch7.x

前置知识:

[Elasticsearch Mapping][]

[Elasticsearch 如何处理存在关联关系的数据?][Elasticsearch]

### 什么是数据建模(Data Modeling)? ###

数据建模是创建数据模型的过程, 数据模型是对真实世界进行抽象描述的一种工具和方法, 实现对现实世界的映射.

在实际开发中, 我们的数据都是存储在MySQL中, Elasticsearch数据建模就是根据业务场景建立一个与MySQL表结构对应的Index Mapping结构, 然后将MySQL中的数据迁移到Elasticsearch中.

Mappings 设置非常重要, 需要从两个维度进行考虑:

*  功能：搜索, 聚合, 排序
 *  性能：存储的开销, 内存的开销, 搜索的性能

### 如何对字段进行建模? ###

对字段进行建模时, 我们需要仔细考虑以下四点.

*  字段类型
 *  是否要搜索及分词
 *  是否要聚合及排序
 *  是否要额外的存储

**字段类型**

(1) text和keyword

*  text类型用于全文本字段, 文本会被分词. 默认不支持聚合和排序, 只有将fielddata设为true才能支持聚合和排序, 但不推荐使用.
 *  keyword类型用于id, 枚举, 或不需要被分词的文本. 适用于filter搜索, 排序和聚合.
 *  Elasticsearch默认会为text类型设置一个keyword多字段类型(子字段), 通过keyword子字段进行聚合和排序.

(2) 数值类型

尽量选择贴近的类型. 例如可以用 byte 就不要用 long.

(3) 枚举类型

将MySQL里的枚举类型设置为keyword, 性能更好.

(4) 空值

null值不能创建倒排索引, 也就不能被搜索. 同时null值会影响聚合的准确度, 所以我们可以通过null\_value属性将null替换为一个特殊的值.

(4) 动态映射

一个文档中要避免过多的字段, 过多的字段不容易维护, 且Mapping信息保存在Cluster State中, 字段数过多对集群性能有影响, 因为Cluster State需要和所有节点同步.

什么情况下会导致过多的字段呢? 就是开启了动态映射的时候, 我们在生产环境要把动态映射关闭, 将dynamic属性设置为strict.

**搜索及分词**

*  如果不需要搜索, 排序和聚合功能, 将enabled属性设置为false.
 *  如果不需要搜索功能, 将index和norms属性设置为false.
 *  需要搜索的字段, 可以通过index\_options属性来定义倒排索引的结构.

**聚合及排序**

*  如果不需要搜索, 排序和聚合功能, 将enabled属性设置为false.
 *  如果不需要聚合和排序功能, 将doc\_values和fielddata属性设置为false.
 *  更新频繁, 聚合频繁的 keyword 类型的字段, 推荐将 eager\_global\_ordinals 属性设置为 true.

**额外的存储**

Elasticsearch所有的字段值都存储在\_source字段中, 单个字段的值是没有额外存储的.

*  如果要额外存储字段的值, 可以将将store属性设置为true.
 *  对于指标型数据(只做聚合操作), 可以禁用\_source.
 *  在实际业务场景中, 一般都是不存数据的, 需要具体数据时根据id去Mysql中查询, 所以推荐禁用\_source.

### 如何处理关联关系? ###

*  子文档偶尔更新, 以查询为主时使用Nested类型.
 *  子文档更新频繁时使用Join类型.
 *  简单处理:
    
     *  直接在应用端处理关联关系.
     *  将拥有关联关系的表合并在一起建立一个索引(去除一些无效字段).

因为 Kibana 目前暂不支持 nested 类型和 Join 类型, 所以我们可以选择简单处理.

### Meta信息 ###

Mappings 设置是一个迭代的过程, 加入新的字段很容易（必要时需要 update\_by\_query), 更新删除字段不允许（需要 Reindex 重建数据）, 最好能对 Mappings 加入 Meta 信息, 更好的进行版本管理.

[Elasticsearch Mapping]: https://blog.csdn.net/litianxiang_kaola/article/details/103344432
[Elasticsearch]: https://blog.csdn.net/litianxiang_kaola/article/details/103981462