41张图解 ElasticSearch 原理，你可收好了

分手后的思念是犯贱 2024-04-06 10:55 72阅读 0赞

Elasticsearch 是一款功能强大的开源分布式搜索与数据分析引擎，目前国内诸多互联网大厂都在使用。

除了搜索之外，结合 Kibana、Logstash、Beats，Elastic Stack 还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控、信息安全等多个领域。

它可以帮助你探索海量结构化、非结构化数据，按需创建可视化报表，对监控数据设置报警阈值，甚至通过使用机器学习技术，自动识别异常状况。

今天，我们先自上而下，后自底向上的介绍ElasticSearch的底层工作原理，并试图回答以下问题：

为什么我的搜索 \*foo-bar\* 无法匹配 foo-bar ？

为什么增加更多的文件会压缩索引（Index）？

为什么 ElasticSearch 占用很多内存？

图解 ElasticSearch

elasticsearch 版本:elasticsearch-2.2.0。

①云上的集群

如下图：

![3c2cf62a78894a47985de7f385114cdd.png][]  
②集群里的盒子

云里面的每个白色正方形的盒子代表一个节点——Node。

![1e0fc0252ede4b44b798019bba888daf.png][]  
③节点之间

在一个或者多个节点直接，多个绿色小方块组合在一起形成一个 ElasticSearch 的索引。

![0fd25f0594da4f658b7781341cb059d6.png][]  
④索引里的小方块

在一个索引下，分布在多个节点里的绿色小方块称为分片——Shard。

![0346ee0f81704a4c96e90f863098004f.png][]  
⑤Shard＝Lucene Index

一个 ElasticSearch 的 Shard 本质上是一个 Lucene Index。

![bbb368b0788843c6bc71dcbd6ef12e9e.png][]  
Lucene 是一个 Full Text 搜索库（也有很多其他形式的搜索库），ElasticSearch 是建立在 Lucene 之上的。

接下来的故事要说的大部分内容实际上是 ElasticSearch 如何基于 Lucene 工作的。

图解 Lucene

Mini 索引：Segment

在 Lucene 里面有很多小的 Segment，我们可以把它们看成 Lucene 内部的 mini-index。

![7baee05e7ace4bb2a1b3fcf7cd44a477.png][]

Segment 内部

![69c9f6cc77ef4e4389b2f50ff9a17510.png][]

Segment 内部有着许多数据结构，如上图：

Inverted Index  
Stored Fields  
Document Values  
Cache

最最重要的 Inverted Index

如下图：

![24d8bcf37feb4519bf15eecb52661036.png][]  
Inverted Index 主要包括两部分：

一个有序的数据字典 Dictionary（包括单词 Term 和它出现的频率）。  
与单词 Term 对应的 Postings（即存在这个单词的文件）。

当我们搜索的时候，首先将搜索的内容分解，然后在字典里找到对应 Term，从而查找到与搜索相关的文件内容。

![435dcd77cbc448cca60c7853f4d64bc6.png][]  
①查询“the fury”

如下图：

![3a77033e68ce4635a4c792223f3bc0b3.png][]  
②自动补全（AutoCompletion-Prefix）

如果想要查找以字母“c”开头的字母，可以简单的通过二分查找（Binary Search）在 Inverted Index 表中找到例如“choice”、“coming”这样的词（Term）。

![df04e243f55d45ad9978ac317efb016f.png][]  
③昂贵的查找

如果想要查找所有包含“our”字母的单词，那么系统会扫描整个 Inverted Index，这是非常昂贵的。

![76d61cccd61c4931bcdb522d99262ea3.png][]  
在此种情况下，如果想要做优化，那么我们面对的问题是如何生成合适的 Term。

④问题的转化

如下图：

![d0626fd8934c40eb9c3b78770640c480.png][]  
对于以上诸如此类的问题，我们可能会有几种可行的解决方案：

\* suffix→xiffus \*，如果我们想以后缀作为搜索条件，可以为 Term 做反向处理。  
(60.6384, 6.5017)→ u4u8gyykk，对于 GEO 位置信息，可以将它转换为 GEO Hash。  
123→\{1-hundreds, 12-tens, 123\}，对于简单的数字，可以为它生成多重形式的 Term。

⑤解决拼写错误

一个 Python 库为单词生成了一个包含错误拼写信息的树形状态机，解决拼写错误的问题。

![3131636053f94ce8822fe0a5c26e9e8b.png][]  
⑥Stored Field 字段查找

当我们想要查找包含某个特定标题内容的文件时，Inverted Index 就不能很好的解决这个问题，所以 Lucene 提供了另外一种数据结构 Stored Fields 来解决这个问题。

本质上，Stored Fields 是一个简单的键值对 key-value。默认情况下，ElasticSearch 会存储整个文件的 JSON source。

![61e5d7cf4cd243439d5dff4c0ea273ec.png][]  
⑦Document Values 为了排序，聚合

即使这样，我们发现以上结构仍然无法解决诸如：排序、聚合、facet，因为我们可能会要读取大量不需要的信息。

所以，另一种数据结构解决了此种问题：Document Values。这种结构本质上就是一个列式的存储，它高度优化了具有相同类型的数据的存储结构。

![e11aeedac5304c80827030fa5f141fb8.png][]  
为了提高效率，ElasticSearch 可以将索引下某一个 Document Value 全部读取到内存中进行操作，这大大提升访问速度，但是也同时会消耗掉大量的内存空间。

总之，这些数据结构 Inverted Index、Stored Fields、Document Values 及其缓存，都在 segment 内部。

搜索发生时

搜索时，Lucene 会搜索所有的 Segment 然后将每个 Segment 的搜索结果返回，最后合并呈现给客户。

Lucene 的一些特性使得这个过程非常重要：

Segments 是不可变的（immutable）：Delete？当删除发生时，Lucene 做的只是将其标志位置为删除，但是文件还是会在它原来的地方，不会发生改变。  
Update？所以对于更新来说，本质上它做的工作是：先删除，然后重新索引（Re-index）。  
随处可见的压缩：Lucene 非常擅长压缩数据，基本上所有教科书上的压缩方式，都能在 Lucene 中找到。  
缓存所有的所有：Lucene 也会将所有的信息做缓存，这大大提高了它的查询效率。

缓存的故事

当 ElasticSearch 索引一个文件的时候，会为文件建立相应的缓存，并且会定期（每秒）刷新这些数据，然后这些文件就可以被搜索到。

![d42781faf24e4a2cbc3ad93c5fbcc1ca.png][]  
随着时间的增加，我们会有很多 Segments，如下图：

![f0fd188789e54cea8cf5e083ef05e82f.png][]  
所以 ElasticSearch 会将这些 Segment 合并，在这个过程中，Segment 会最终被删除掉。

![4213900e115d4bfc893762e7ea3a92eb.png][]  
这就是为什么增加文件可能会使索引所占空间变小，它会引起 Merge，从而可能会有更多的压缩。

举个栗子

有两个 Segment 将会 Merge：

![0d0db13a8fa148f0a0966fc089031b9c.png][]  
这两个 Segment 最终会被删除，然后合并成一个新的 Segment，如下图：

![3ea9d47c35e640578e0553a4ab2f3d4a.png][]  
这时这个新的 Segment 在缓存中处于 Cold 状态，但是大多数 Segment 仍然保持不变，处于 Warm 状态。

以上场景经常在 Lucene Index 内部发生的，如下图：

![c05e8cb1b94d46d495cc2a8a151538d5.png][]  
在 Shard 中搜索

ElasticSearch 从 Shard 中搜索的过程与 Lucene Segment 中搜索的过程类似。

![ab3a7549d33346dea4af0fbc249a87bb.png][]![4fe9722acaf044bd9660ac5f5e9e3e7b.png][]

对于日志文件的处理：当我们想搜索特定日期产生的日志时，通过根据时间戳对日志文件进行分块与索引，会极大提高搜索效率。

当我们想要删除旧的数据时也非常方便，只需删除老的索引即可。

![f0e3fccc153e4dd385fc724c6b6b922d.png][]  
在上种情况下，每个 Index 有两个 Shards。

如何 Scale

如下图：

![1276ef29a59e475698b0ff49d5abdada.png][]  
Shard 不会进行更进一步的拆分，但是 Shard 可能会被转移到不同节点上。

![d12f85ca95524f48b5b62ee3a791493c.png][]

所以，如果当集群节点压力增长到一定的程度，我们可能会考虑增加新的节点，这就会要求我们对所有数据进行重新索引，这是我们不太希望看到的。

所以我们需要在规划的时候就考虑清楚，如何去平衡足够多的节点与不足节点之间的关系。

节点分配与 Shard 优化：

为更重要的数据索引节点，分配性能更好的机器。  
确保每个 Shard 都有副本信息 Replica。

![1f29cf79732f4751a8b8c397295ef85b.png][]

路由 Routing：每个节点，每个都存留一份路由表，所以当请求到任何一个节点时，ElasticSearch 都有能力将请求转发到期望节点的 Shard 进一步处理。

![ce130f51ec334888afade12c4c350c49.png][]  
如下图：

![8f7a7d39b8bd4a4a9c7c4944e75884fa.png][]  
①Query

如下图：

![8f0d0666161144328ae1fc331cf6abd9.png][]  
Query 有一个类型 filtered，以及一个 multi\_match 的查询。

②Aggregation

如下图：

![56f1b02c2f204bca947f77c05f8e10a1.png][]  
根据作者进行聚合，得到 top10 的 hits 的 top10 作者的信息。

③请求分发

这个请求可能被分发到集群里的任意一个节点，如下图：

![bb07c62269a54c409f1e1fd776ab2d65.png][]  
④上帝节

如下图：

![fbf3174e08a5449db3b985785305721b.png][]

这时这个节点就成为当前请求的协调者（Coordinator），它决定：

根据索引信息，判断请求会被路由到哪个核心节点。  
以及哪个副本是可用的。  
等等。  
⑤路由

如下图：

![b52fe4a800d64d73b7e3134f376ea92f.png][]  
⑥在真实搜索之前

ElasticSearch 会将 Query 转换成 Lucene Query，如下图：

![4f68b5a913d145cf89eb9407083b50cc.png][]  
然后在所有的 Segment 中执行计算，如下图：

![6a6f8ec3c21540339c365d70f076bce2.png][]  
对于 Filter 条件本身也会有缓存，如下图：

![7a942fa44ff3407cb0c04038e74e0315.png][]  
但 Queries 不会被缓存，所以如果相同的 Query 重复执行，应用程序自己需要做缓存。

![a15c8912a2a04254b6f65b2e369abd8c.png][]  
所以：

Filters 可以在任何时候使用。  
Query 只有在需要 Score 的时候才使用。  
⑦返回

搜索结束之后，结果会沿着下行的路径向上逐层返回，如下图：

![c5e542f1270a4839aa958dfb37ea048d.png][]![bc6edc11f1254045a0c6779b1c83aec1.png][] ![fcb816f77a394d0aa2167df2719733b3.png][] ![91a85d9953764366ad3479fe91a8f740.png][] ![cca349f250004fa694acb2b42d0f582c.png][]

[3c2cf62a78894a47985de7f385114cdd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d205d048f7024a01a0e9edca957ec9eb.png
[1e0fc0252ede4b44b798019bba888daf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f7eac1d1e9b148d39a2d602a560b0e61.png
[0fd25f0594da4f658b7781341cb059d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/8f69f294aad24fddbb67e4a03fcead1b.png
[0346ee0f81704a4c96e90f863098004f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/cfb05b3d595e4b06b1e7071ef3d66685.png
[bbb368b0788843c6bc71dcbd6ef12e9e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b5d66049a726488b82085f92389066ad.png
[7baee05e7ace4bb2a1b3fcf7cd44a477.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/1154cf63b8bb458fa4a758a373735cc1.png
[69c9f6cc77ef4e4389b2f50ff9a17510.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3572b1085bd141b5934bbc83f24961af.png
[24d8bcf37feb4519bf15eecb52661036.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/1533ccf1cf00415eb9db949140b95857.png
[435dcd77cbc448cca60c7853f4d64bc6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/428b1c58819742f4a49f0677ddeb085f.png
[3a77033e68ce4635a4c792223f3bc0b3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/16c54bf2562a4001b60db05cf468fbb8.png
[df04e243f55d45ad9978ac317efb016f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/57d90c34dfb5432e8c4350444bf79a69.png
[76d61cccd61c4931bcdb522d99262ea3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/bb03e0a58b624d38b8bb17efec5c26d6.png
[d0626fd8934c40eb9c3b78770640c480.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/82599553aa3f4f9ba0fc6d1aeecd6516.png
[3131636053f94ce8822fe0a5c26e9e8b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b7d6b907c7f545a4889609d3b5358c91.png
[61e5d7cf4cd243439d5dff4c0ea273ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4d43e12be24649089121573a1b1a6759.png
[e11aeedac5304c80827030fa5f141fb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6d59f82128b241e3bb44652d5b5cecd8.png
[d42781faf24e4a2cbc3ad93c5fbcc1ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f73132620fc140f9892d5980e0e223c3.png
[f0fd188789e54cea8cf5e083ef05e82f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/58c709e2631f4523ae739589434e7a64.png
[4213900e115d4bfc893762e7ea3a92eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/8a13c662393c47f696e7332b49099bc1.png
[0d0db13a8fa148f0a0966fc089031b9c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2a29dcdc65ee4a01930096f4d4c5061b.png
[3ea9d47c35e640578e0553a4ab2f3d4a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/907947d1a508457997944635eb939fc3.png
[c05e8cb1b94d46d495cc2a8a151538d5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/61a9861d6e9f419a804e39021dbc8885.png
[ab3a7549d33346dea4af0fbc249a87bb.png]: https://img-blog.csdnimg.cn/ab3a7549d33346dea4af0fbc249a87bb.png
[4fe9722acaf044bd9660ac5f5e9e3e7b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c5a5890091ad4d88a5b368d52bb79b1f.png
[f0e3fccc153e4dd385fc724c6b6b922d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2760a3c547f24fd696a7039813575363.png
[1276ef29a59e475698b0ff49d5abdada.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/10a04493836e4285b99c80605ba4f448.png
[d12f85ca95524f48b5b62ee3a791493c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/20bfad453d104fb1bfcbf3dce4eeb3c2.png
[1f29cf79732f4751a8b8c397295ef85b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a6b1738c34594406942c528e7a103e39.png
[ce130f51ec334888afade12c4c350c49.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/70886b0d388e42d3a0b61f6c13b6dab1.png
[8f7a7d39b8bd4a4a9c7c4944e75884fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/528b46e88d254ec98ad9a8ed8c2d5379.png
[8f0d0666161144328ae1fc331cf6abd9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f6a81f60153d4ef0bc3a4c8c33a67ec9.png
[56f1b02c2f204bca947f77c05f8e10a1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a74725e998854cf6847d7742d44c223c.png
[bb07c62269a54c409f1e1fd776ab2d65.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/bac5963b73e94fda812cbd535cf9a66b.png
[fbf3174e08a5449db3b985785305721b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/97b39cb93c344f318730d880c7a12019.png
[b52fe4a800d64d73b7e3134f376ea92f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/db3921c8853b401a9b19361675e43fb2.png
[4f68b5a913d145cf89eb9407083b50cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4a194a66e24645a08c8537c8fadd2235.png
[6a6f8ec3c21540339c365d70f076bce2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3dc31e94b9b8413aae6440393d3daffa.png
[7a942fa44ff3407cb0c04038e74e0315.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/53ba9645843e433a980eccc6b88ccb59.png
[a15c8912a2a04254b6f65b2e369abd8c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/221400a3a27647a58beb079461971bf2.png
[c5e542f1270a4839aa958dfb37ea048d.png]: https://img-blog.csdnimg.cn/c5e542f1270a4839aa958dfb37ea048d.png
[bc6edc11f1254045a0c6779b1c83aec1.png]: https://img-blog.csdnimg.cn/bc6edc11f1254045a0c6779b1c83aec1.png
[fcb816f77a394d0aa2167df2719733b3.png]: https://img-blog.csdnimg.cn/fcb816f77a394d0aa2167df2719733b3.png
[91a85d9953764366ad3479fe91a8f740.png]: https://img-blog.csdnimg.cn/91a85d9953764366ad3479fe91a8f740.png
[cca349f250004fa694acb2b42d0f582c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/87548d2e58294870a005c17be1381e8d.png