Elasticsearch品读—第六章：聚合（第一节）

清疚 2022-03-22 03:06 276阅读 0赞

[上一章：Elasticsearch品读—第五章：DSL语法（第二节）][Elasticsearch_DSL]

**目录**

1.ES聚合

2.度量聚合

2.1.avg,max,min,sum

2.2.cardinality

2.3.stats，extended\_stats

2.4.geo\_bounds

2.5.geo\_centroid

2.6.value\_count

2.7.top\_hits

--------------------

# 1.ES聚合 #

ES聚合，全称为"Aggregation"，简称为"aggs"，是ES在索引和检索的基础上提供的更高级的功能：聚合基于搜索查询提供聚合数据，以便可以组合构建复杂的数据。

**ES****聚合主要分为4****大类：**

①Bucketing，存储桶聚合，与SQL中的"group by"类似。执行聚合时，在上下文中的每个文档判断存储桶条件，当条件匹配时，文档就会" 落入"该存储桶。整个聚合结束后，会得到一个桶列表，每个桶内都有一组"属于"它们的文档

②Metric，度量标准聚合，与SQL中的"max"、"min"、"avg"类似。在一组文档中跟踪和计算指标的聚合

③Matrix，矩阵聚合，在多个字段上运行，并根据从请求的文档字段中提取的值生成矩阵结果。 与度量标准和存储桶聚合不同，此聚合不支持脚本

④Pipeline，管道聚合，聚合其他聚合的输出及其关联指标的聚合

**ES****聚合的最大特点：**"聚合可以嵌套"：因为每个存储桶定义了一个文档集(属于该存储桶的所有文档)，所以可以在存储桶级别上关联聚合，这些聚合将在该存储桶的上下文中执行。

**ES****聚合语法结构：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70][]

# **2.度量聚合** #

## **2.1.avg,max,min,sum** ##

"avg 聚合"用于从文档集中计算指定字段的平均值；

"max 聚合"用于从文档集中找出指定字段的最大值；

"min 聚合"用于从文档集中找出指定字段的最小值；

"sum 聚合"用于从文档集中计算指定字段的总和。

以上4个聚合函数用法类似，仅聚合名称不一样而已，以平均值聚合"avg"为例：

**语法①：通过指定要聚合的字段(field)**

![20190125155403505.png][]

例子为：

![20190125155403505.png][]

**语法②：指定脚本(script)****来执行，source****表示待执行的脚本语言**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 1][]

例子为：

![20190125155403594.png][]

**语法③：对聚合出来的平均值再做处理，仍然使用脚本实现**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 2][]

例子为：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 3][]

**语法④：对字段没有的值，可以指定另一个值覆盖**

![20190125155403601.png][]

## **2.2.**cardinality ##

"cardinality 聚合"用于计算文档集中指定字段的值去重后的数量，它将字段的值加载到哈希集中并返回其大小。它有一个额外参数precision\_threshold—用于定义一个唯一的数值，低于此数值的计数接近准确，超过此数值的计数会变得更加模糊。precision\_threshold参数的默认值为3000，最大值为40000(意味着高于40000的数值与40000具有一样的结果)。官方说，可能会在未来版本中更改precision\_threshold选项。

**PS****：**若要对text类型的字段做cardinality聚合，需先设置fielddata

**语法：**

**①指定字段来计算该字段有多少种取值(****这些字段值会被去重后统计)**

![20190125155446275.png][]

例子为：统计test/aggs\_cardinality/...的文档的event字段的去重取值数量

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 4][]

**②指定脚本语言来计算字段的去重取值数量**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 5][]

例子为：

doc表示文档

doc\["event"\]和doc. event效果一样，都是表示文档的event字段

doc.event.value表示文档的event字段的字段值

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 6][]

**③缺少值的字段，默认是被忽略，但是如果有指定missing****，则没有值的字段将会与missing指定值的字段属于同一个存储桶**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 7][]

## 2.3.stats，extended\_stats ##

" stats "，用于从文档集指定字段中，提取字段值的统计信息，返回的统计数据包括：min，max，sum，count和avg。所以它只能用于numeric类型的字段。 " extended\_stats "是stats聚合的扩展版本，它在stats原有的基础上添加了额外的度量标准：

①sum\_of\_squares —— 平方和

②variance —— 方差

③std\_deviation——标准差

④std\_deviation\_bounds ——平均值加减两个标准差的值，它有两个属性：

upper和lower。upper=平均值+2\*标准差、lower=平均值-2\*标准差，

ES官方说这用于可视化数据方差，若想要不同的边界，如需要3个标准差， 可设置参数sigma为3，则：

upper = 平均值+3\*标准差、lower = 平均值-3\*标准差。

sigma可以是任何非负的双精度，这意味着可以请求非整数值，例如1.5。

**语法：**

**①通过filed****来指定字段，聚合所有文档该字段的数值的统计信息**

**    **![20190125155841367.png][]

**    **例子为：

![20190125155841366.png][]

**②使用脚本语言来聚合**

**    **![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 8][]

**    **例子为：

** **![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 9][]

**③脚本升级版：对聚合出来的基本数据再做处理**

**   **![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 10][]

**④对空值的处理**

默认情况下，ES会忽略掉空值，但也可以指定

![20190125155841416.png][]

## 2.4.geo\_bounds ##

"geo\_bounds 聚合"，用于计算包含文档集中字段所有的geo\_point值的边界框。返回结果是一个用"左上角"坐标和"右下角"坐标表示的矩形边框。该聚合函数还有一个可选参数wrap\_longitude，指定是否允许边界框与国际日期行重叠，默认值是true。

**语法：**

![20190125155938784.png][]

例子为：

![20190125155938793.png][]

返回结果为：

![20190125155938862.png][]

## 2.5.geo\_centroid ##

"geo\_centroid 聚合"，计算geo-point数据类型字段的所有geo\_point值的加权质心。何为质心？即质心算法，质心也是一个坐标，它的横坐标为n个坐标点横坐标的平均值，它的纵坐标为n个坐标点纵坐标的平均值；加权质心，应该是在此基础上加上权值进行计算...吧....（这点有待修改）

**语法：**

![20190125160004867.png][]

例子为：

![20190125160004895.png][]

## 2.6.value\_count ##

"value\_count 聚合"计算文档集中指定字段的值的数量，它和cardinality聚合的区别在于：value\_count是有一个值算一个，它不会去重，默认忽略没值的字段。换句话说，value\_count是计算文档集中文档的数量。

**语法：**

![20190125161051754.png][]

例子为：

①没有指定对没值字段的处理，默认忽略，不计入统计结果

![20190125161051793.png][]

返回值为4：共有6个文档其中2个文档的event字段为null

![20190125161051792.png][]

②若指定对没值字段的处理，则会把没值的字段一个一个计入统计结果

![20190125161051793.png][]

返回值为6：共有6个文档其中2个文档的event字段为null

![20190125161051839.png][]

## 2.7.top\_hits ##

"top\_hits 聚合"用于从文档集中返回满足聚合条件的前n个文档。它有3个属性：from、sort和size。而且，它可以让ES聚合结果返回文档信息。

①from：获取相对于第一个结果的偏移量，0表示第一个结果，1表示第二个结果，3表示第三个结果，以此类推...

②sort：指定排序字段，默认按照主查询的\_score来排序

③size：指定要返回的文档数量，默认前3个匹配的文档

**语法：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 11][]

**例子为：**

将文档集按照score字段倒序排序后返回第一个结果，且结果文档只显 示name和score字段

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 12][]

[Elasticsearch_DSL]: https://blog.csdn.net/sym542569199/article/details/86647044
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70]: /images/20220322/d864130cbbd844b48eb47149f0096d6f.png
[20190125155403505.png]: /images/20220322/42758504b7a64faea67258a272a26860.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 1]: /images/20220322/a0aeff08576441658ea477696707abc2.png
[20190125155403594.png]: /images/20220322/42362b6dcffd430eb638e18a04fa33b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 2]: /images/20220322/a9a1d5b6c77c4c6bbb7fbabccd9820d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 3]: /images/20220322/95237ac72b554141ba127eb6fdf8aa50.png
[20190125155403601.png]: /images/20220322/906b29a66e97416dbca09595cde845cb.png
[20190125155446275.png]: /images/20220322/610ac32981e94c89875cd3aebafb13c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 4]: /images/20220322/354a6aaa0755409ead8466fe076661d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 5]: /images/20220322/d2fb6bf903234d99987856680737821c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 6]: /images/20220322/823951ceea234393a69717749c04b649.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 7]: /images/20220322/98e0426ecf484822bf501684a6524576.png
[20190125155841367.png]: /images/20220322/06ee4c89289d49cfa5498767455382d7.png
[20190125155841366.png]: /images/20220322/aae7c40c1e58404fb44d51f25abd55f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 8]: /images/20220322/03291adf39d74d329c50e639a75c2a18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 9]: /images/20220322/0b64e2e954c740dd8345309a274b8b14.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 10]: /images/20220322/0dc3eface9304f8cbe8575904a3122c1.png
[20190125155841416.png]: /images/20220322/ef7ce8d0a6ee45ecba3077d3313ad9d3.png
[20190125155938784.png]: /images/20220322/1ebe7159b20741aeba0a51c93df58e7c.png
[20190125155938793.png]: /images/20220322/7d432c65380c4a8fb2add51f9db3757d.png
[20190125155938862.png]: /images/20220322/594796f0a015400a935a66b89bafa542.png
[20190125160004867.png]: /images/20220322/2bc57a8906d04ec8ba4b482311edc43c.png
[20190125160004895.png]: /images/20220322/55fa26e65fb44564935722cbb13e6df0.png
[20190125161051754.png]: /images/20220322/60ce8f5ed7f24e389f0de13e2767f091.png
[20190125161051793.png]: /images/20220322/88fa40bd11ec4569a0216edf5b7e664b.png
[20190125161051792.png]: /images/20220322/b00225cbe643470cb05fe09f0f60d68b.png
[20190125161051839.png]: /images/20220322/706fcae4a1ed4196b2723f87473d0b40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 11]: /images/20220322/5e62d2c5c60f49c1a76dd4ae4a9e943c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 12]: /images/20220322/e40e42ae899043d4b61cb5f2105bcd26.png