Elasticsearch品读—第四章：DSL语法（第一节）

向右看齐 2022-04-04 07:48 903阅读 0赞

上一章：[Elasticsearch品读—第三章：ES数据类型][Elasticsearch_ES]

**目录**

1.DSL语法简介

1.1.上下文

1.2.macth\_all

2.全文检索

2.1.match

2.2.match\_phrase

2.3.match\_phrase\_prefix

2.4.multi\_match

2.5.common terms

3.术语查询

3.1.term

3.2.terms

3.3.range

3.4.exists

3.5.prefix

3.6.wildcard

3.7.regexp

3.8.fuzzy

3.9.type

3.10.ids

--------------------

## 1.DSL语法简介 ##

DSL，全称是 Domain Specific Language，域特定语言。ES将Query DSL视为查询AST（抽象语法树），由两种类型子句组成:

①叶查询子句，查找特定字段中的特定值，例如匹配，术语或范围查询；

②复合查询子句，包装其他叶子或复合查询，用于以逻辑方式组合多个查询

### 1.1.上下文 ###

query子句的行为取决于它是在查询上下文中还是在过滤器上下文中使用：

①查询上下文中使用的查询子句回答了问题"此文档与此查询子句的匹配程度如何？"除了确定文档是否匹配之外，查询子句还计算一个\_score，表示文档相对于其他文档的匹配程度。

②过滤器上下文中使用的查询子句回答问题"此文档是否与此查询子句匹配"，答案是简单的是或否，不计算任何分数。 过滤器上下文主要用于过滤结构化数据，例如：

1. 文档的时间戳字段是否属于2018年至2019年的范围？

2. 文档的状态字段是否设置为“已发布”？

### 1.2.macth\_all ###

match\_all 是最简单的DSL查询语句，用于查询所有的文档，并且查询匹配到的文档的相关度\_score默认都为1：

![20181215210942996.png][]

## 2.全文检索 ##

full text query即全文检索，先建立索引，再对索引进行搜索的过程就叫全文检索

### 2.1.match ###

match query，即匹配查询，接受text/numerics/dates查询参数，分析它们并构造查询。匹配查询的类型为boolean，它会分析客户端提供的查询文本，分析过程根据提供的文本构造布尔查询，它的语法为：

![20181215211034192.png][]![20181215211038502.png][]

**额外查询参数：**

①operator参数可以设置为其它控制布尔子句（默认为或）

②minimum\_should\_match参数设置要匹配的可选should子句的最小数量

③analyzer来控制哪个分析仪将对文本执行分析过程。默认为字段显式映射定义或默认搜索分析器

④lenient参数设置为true可以忽略由数据类型不匹配引起的异常，例如尝试使用文本查询字符串查询数字字段默认为false。

**例子：**

![20181215211104287.png][]

### 2.2.match\_phrase ###

match phrase query，即匹配短语查询，它其实是在match的基础上将operator改为and的效果，只有文档的字段完全匹配查询文本才会该文档返回。它的语法为：（语法和match很相似）

![20181215211139352.png][]![20181215211142459.png][]

**额外查询参数：**

①analyzer：指定分析仪对查询文本进行分析查询

![20181215211154718.png][]

### 2.3.match\_phrase\_prefix ###

match phrase prefix query，即匹配短语前缀查询，它与match\_phrase相同，只是它允许文本中最后一个术语的前缀匹配，语法为：

![20181215211211865.png][]![20181215211214480.png][]

**额外查询参数：**

①analyzer：设置分析仪对查询文本近分析查询

②max\_expansions：设置满足查询前缀的后缀匹配数量，默认是50个。例如有短语"ant"、"area"、"ab"、"ananlyzer"，在match\_phrase\_prefix="a"情况下，设置max\_expansions=1，只有ab符合，设置max\_expansions=3，ab、ant、area都符合...以此类推，它默认是50个，官方强烈建议要将这个设置成符合业务场景的值，避免无意义的查询

![20181215211257593.png][]

### 2.4.multi\_match ###

multi match query，即多重匹配查询，在match的基础上允许多个字段查询，multi\_match默认带有2个属性：query 和 fields，query设置搜索文档，fields用于指定匹配字段，它的语法为：

![20181215211312618.png][]

fields可以:  ①模糊匹配，如："fields": \["title", "\*\_name"\]

②重要字段，如："fields" : \[ "subject^3", "message" \] (表示subject字段是message字段的三倍重要)

**额外参数：**

**type**：设置multi\_match在内部查询的执行方式，它有5个取值：

①best\_fields：默认值，它可以查询与任何字段匹配的文档，但使用最佳字段的\_score作为返回结果的\_score(相关度)

②most\_fields：查找与任何字段匹配的文档，并组合每个字段的\_score

③cross\_fields：使用相同的分析器处理每个字段

④phrase：在每个字段上运行match\_phrase查询，并组合每个字段的\_score

⑤phrase\_prefix：在每个字段上运行match\_phrase\_prefix查询，并组合每个字段的\_score

### 2.5.common terms ###

common terms query，即常用术语查询，ES旧版本为了防止像"the"、"a"等高频词影响查询性能和效果，忽略高频率的术语，通过将高频词视为一个停用词，直接将高频词过滤。常用术语查询就是替代停用词的新技术。常用术语查询将查询术语划分为两组：更重要（即低频术语）和不太重要（即以前曾是停用词的高频术语)它的查询步骤为：

①先查询匹配低频术语(重要性大)的文档。这些术语出现在较少的文档中，对相关性有较大影响

②基于第①步查到的结果上，对高频词(不太重要)的术语执行第二次查询，这些术语经常出现并且对相关性的影响很小

**语法**：

![20181215211527356.png][]![20181215211539782.png][]

**额外属性：**

①cutoff\_frequency：将术语分配给高频或低频组，cutoff\_frequency可以指定为绝对频率（> = 1）或相对频率(0.0 ... 1.0)，文档频率是按照每个分片级别计算的

②low\_freq\_operator：设置低频词的操作符(默认是 or )

③high\_freq\_operator：设置高频词的操作符(默认是 or )

④minimum\_should\_match：指定若没有特殊指明，则表示必须存在的低频项的最小数量或百分比："minimum\_should\_match":2 表示低频术语占2个；若指明为高频和低频占比，则分别表示：

"minimum_should_match": {
    
         "low_freq" : 2,  // 低频术语占2个
    
         "high_freq" : 3 // 高频术语占1个 
    }

**例子：**

![20181215211712333.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70][]

## 3.术语查询 ##

term-level queries，术语级查询，将根据存储在反向索引中的确切术语进行操作，通常用于结构化数据，如数字，日期和枚举，而不是全文字段。所有属于term level query的API的查询术语，都是给什么就认什么，不会再分析查询术语(明显区别与full text query)

### 3.1.term ###

term query查找指定字段的倒排索引中指定的确切术语的文档。它对大小写敏感且不会对查询参数分析，所以常用在对关键字、数字、日期字段查找值。其实，当字段的数据类型是"text"，最好不要使用term查询，为啥？ES索引"text"类型的数据，会先将它们分析，例如原句"Quick Foxes! "经过分析器后得到结果"quick"和"foxes"，最后ES是将"quick"和"foxes"保存到倒排索引。对比下使用match和term查询就可以知道：match: "Quick Foxes!"，ES分析后得到quick和foxes去匹配倒排索引，那肯定匹配的到term: "Quick Foxes!"，ES不会对term query进行分析，所以直接用QuickFoxes!去匹配倒排索引，肯定匹配不到(倒排索引只有"quick"和"foxes"，根本没有Quick Foxes!)

**语法：**

![20181215211826546.png][]![20181215211844994.png][]

**例如：**

查询 account\_number=25的文档：

![20181215211914977.png][]

### 3.2.terms ###

terms query用于查找包含指定字段中指定的任何确切术语的文档，它是term的"复数形式"，term只能从指定字段中的匹配一个确切术语，terms可以从指定字段中匹配多个确切术语。

语法：

![20181215211951699.png][]

**例如：**

查询account\_number值为25或44或56的文档

![20181215212015909.png][]

### 3.3.range ###

range query查找指定字段包含指定范围内的值（日期，数字或字符串）的文档。range接受以下参数：gte 、gt、lte、lt和boost(表示匹配分值)，

**语法：**

![20181215212036310.png][]

特别地，当range用在date类型上的字段时，可以使用date Math指定范围。它会将日期舍入到最近的日期，月份，小时等，舍入日期取决是要"大于"还是"大于等于"，这一点很重要，不清楚的话会多出或少掉临界点的日期。

**舍入规则：**

向上舍入移动到舍入范围的最后一毫秒，并向下舍入到舍入范围的第一毫秒

①gt: 大于日期的四舍五入：2014-11-18 || / M成为2014-11-30T23：59：59.999，即不包括整月

②gte: 大于或等于日期向下舍入：2014-11-18 || / M成为2014-11-01，即包括整个月

③lt: 低于日期向下舍入：2014-11-18 || / M成为2014-11-01，即不包括整个月

④lte: 小于或等于向上舍入的日期：2014-11-18 || / M成为2014-11-30T23：59：59.999，即包括整个月

默认ES储存日期的格式为严格模式，"yyyy/MM/dd HH:mm:ss"不足两位数一定要补0，例如不能写"2018/1/11"而是要写"2018/01/11"。

**例子：**

1、参数"format"指定日期格式

![20181215212107491.png][]

2、由于"time\_zone"存在，所以gte指定的日期实际为"2014-12-31 23:00:00"，而"now"不受time\_zone影响

![20181215212219108.png][]

### 3.4.exists ###

查找指定字段包含至少包含一个非空值的文档

**语法：**

![2018121521223334.png][]

**例子：**

查询user字段不为空的文档：

![20181215212248900.png][]

1、会被匹配到的文档：

![20181215212319623.png][]

2、不会匹配到的文档：

![20181215212330304.png][]

**注意点：**

①若字段的\_mapping中包含null\_value设置，则使用指定的null\_value替换显式空值。例如，如果user字段映射如下

![20181215212347361.png][]

显式空值(null)将被索引成字符串"\_null\_"，以下文档将匹配存在:

![20181215212358890.png][]

但是，这些文档因为没有显式空值(null)，在user字段中仍然没有值，因此与exists过滤器不匹配：

![20181215212411259.png][]

### 3.5.prefix ###

匹配包含具有指定前缀（未分析）术语的字段的文档。前缀查询映射到Lucene PrefixQuery，请注意"prefix"也是属于确切属于行列，与term一样，只不过term给出全部术语，而prefix只给出前缀术语：

**语法：**

![20181215212437183.png][]

**例子：**

查询address字段中带有"put"前缀的文档，注意prefix与term一样，它不会分析查询参数，"put"和"Put"是两个不同的查询参数，它也是从字段的倒排索引中匹配是否有put前缀的术语。

![20181215212449692.png][]

### 3.6.wildcard ###

匹配具有与通配符表达式匹配的字段（未分析）的文档。支持的通配符是:①"\*"，它匹配任何字符序列（包括空字符序列）②"？"，它匹配任何单个字符。此查询可能很慢，因为它需要迭代多个术语。为了防止极慢的通配符查询，查询术语不应该以通配符\*或?之一开头。通配符查询映射到Lucene WildcardQuery。

**语法：**

![20181215212512712.png][]

**例子：**

查询user字段匹配" ki\*y "通配符的文档

![20181215212529931.png][]

### 3.7.regexp ###

查找指定字段包含与指定正则表达式匹配的术语的文档，正则表达式查询的性能在很大程度上取决于所选的正则表达式，像" .\*？\+ "这样的通配符匹配器会降低性能。ES不会解释正则表达式，而只是解释支持的运算符。

![20181215212547374.png][]![201812152125557.png][]

**额外参数：**

①boost：设置匹配相关度分值

②flags：Lucecne的特殊标志，详见[Lucene API文档][Lucene API]

③max\_determinized\_states：提高此参数可以允许执行更复杂的正则表达式，默认为10000

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 1][]

### 3.8.fuzzy ###

fuzzy query，模糊查询，使用基于Levenshtein编辑距离的相似性。它查询所有可能的匹配项，这些匹配项处于查询参数指定的最大编辑距离内，然后检查术语词典以找出索引中实际存在哪些生成的术语。

![20181215212626381.png][]

**额外参数：**

①fuzziness：最大编辑距离。默认为AUTO

②boost：匹配相关度

③prefix\_length：不会“模糊化”的初始字符数。这有助于减少必须检查的术语数量。默认为0

④max\_expansions：模糊查询将扩展到的最大术语数。默认为50

![20181215212653586.png][]

### 3.9.type ###

type query，查询与提供的文档/映射类型匹配的文档

**语法：**

![20181215212717391.png][]

**例子：**

查询类型为account的文档：

![20181215212726698.png][]

### 3.10.ids ###

ids query，查询包含提供的ID的文档。请注意，此查询使用\_uid字段。类型是可选的，可以省略，也可以接受值数组。如果未指定类型，则尝试在索引映射中定义的所有类型。

**语法：**

![20181215212755327.png][]

**例子：**

![20181215212800503.png][]

# #

[Elasticsearch_ES]: https://blog.csdn.net/sym542569199/article/details/85011361
[20181215210942996.png]: /images/20220404/d67cfe243b234a2e89b1e776304735dc.png
[20181215211034192.png]: https://img-blog.csdnimg.cn/20181215211034192.png
[20181215211038502.png]: /images/20220404/e819c9d99f38401190cc2f4e75076a62.png
[20181215211104287.png]: /images/20220404/76a4c47e6ab4431d83969655594eb01d.png
[20181215211139352.png]: https://img-blog.csdnimg.cn/20181215211139352.png
[20181215211142459.png]: /images/20220404/0fa259d9660d4d6288c418465e930a10.png
[20181215211154718.png]: /images/20220404/3d3bf01d8dec4cee87f87bd2576b9bab.png
[20181215211211865.png]: https://img-blog.csdnimg.cn/20181215211211865.png
[20181215211214480.png]: /images/20220404/5ad4f2a5e91a4191887a22ee6ec5d087.png
[20181215211257593.png]: /images/20220404/abbae5a34a2a4325b923ea9dfa0d4bcb.png
[20181215211312618.png]: /images/20220404/1e0cc7da024d4128967945b13fc652f6.png
[20181215211527356.png]: https://img-blog.csdnimg.cn/20181215211527356.png
[20181215211539782.png]: /images/20220404/f3e57636ad97411e9cc61ae2f0bb1d75.png
[20181215211712333.png]: /images/20220404/5fe6c30f2b934593a5954c76e14f48ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70]: /images/20220404/518c6a1959274ae69c0b0056ef8636f2.png
[20181215211826546.png]: https://img-blog.csdnimg.cn/20181215211826546.png
[20181215211844994.png]: /images/20220404/84b321d451444b189ff8bdd7e83d2126.png
[20181215211914977.png]: /images/20220404/544506fafe9e472ea38a0a46f1ebbc5f.png
[20181215211951699.png]: /images/20220404/ea1922d62a49460a9eda78ea957c35d2.png
[20181215212015909.png]: /images/20220404/ef6d9f7e77cc4994ab541aa41d0bb228.png
[20181215212036310.png]: /images/20220404/5f06949f60204a4a986158ecf0b5463f.png
[20181215212107491.png]: /images/20220404/edda93a794d0475fabab087898d6e1f9.png
[20181215212219108.png]: /images/20220404/a3074545217a42cf9279a06db58960d7.png
[2018121521223334.png]: /images/20220404/c6a8071666fb4f1d800464534f775b64.png
[20181215212248900.png]: /images/20220404/8cd586b2d1dd4d918582cb9f1bdebf1d.png
[20181215212319623.png]: /images/20220404/fd0fec160c6445d7b25020488a7f28a1.png
[20181215212330304.png]: /images/20220404/ee24f1aa4be446d78524db1cdda3678b.png
[20181215212347361.png]: /images/20220404/7dab0debafb142bb9ea437b9f3336c1b.png
[20181215212358890.png]: /images/20220404/ead01ca723154980aac37e4a73ab9207.png
[20181215212411259.png]: /images/20220404/c85bb5a1742f43fe9909b77ed3e5b84c.png
[20181215212437183.png]: /images/20220404/7debd38ea0bb45efa732f99465e10839.png
[20181215212449692.png]: /images/20220404/8c98e5a91b1d443db13784491057927d.png
[20181215212512712.png]: /images/20220404/a807d69811e043758820ad2640047bc6.png
[20181215212529931.png]: /images/20220404/cf511c48327d4447bbdb38b6719db54e.png
[20181215212547374.png]: https://img-blog.csdnimg.cn/20181215212547374.png
[201812152125557.png]: /images/20220404/b5875e822da14672b42d105c9648c1c4.png
[Lucene API]: http://people.apache.org/~rmuir/jacoco-core/org.apache.lucene.util.automaton/RegExp.java.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5bTU0MjU2OTE5OQ_size_16_color_FFFFFF_t_70 1]: /images/20220404/c985c16bfc2748b9bb19ff90c3a4f604.png
[20181215212626381.png]: /images/20220404/26b42414997147398cd18392cb3faa3b.png
[20181215212653586.png]: /images/20220404/79406dfee818492991367dc7a5e6d4bc.png
[20181215212717391.png]: /images/20220404/96b76e734a7c499487b7b607d095b40c.png
[20181215212726698.png]: /images/20220404/a25fe9d5a52e4de7889bf10b60c4d8b9.png
[20181215212755327.png]: /images/20220404/d72f110dc5f3431180556038102e664e.png
[20181215212800503.png]: /images/20220404/e3395739685b47c9bbfa0d62a2e33e1a.png