ES详解全文搜索

柔光的暖阳◎ 2022-12-19 14:26 154阅读 0赞

### 文章目录 ###

*   *   *   *  （1）匹配查询
             *  （2）多词查询
             *  （3）组合查询
             *  （4）布尔匹配
             *  （5）增加字句

#### （1）匹配查询 ####

不管你搜索什么内容，match查询是你首先需要接触的查询。它是一个高级查询，意味着match查询知道如何更好的处理全文检索和准确值检索。

基础数据准备

DELETE /my_index  
    PUT /my_index
    {  "settings": {  "number_of_shards": 1 }}  
    POST /my_index/my_type/_bulk
    {  "index": {  "_id": 1 }}
    {  "title": "The quick brown fox" }
    {  "index": {  "_id": 2 }}
    {  "title": "The quick brown fox jumps over the lazy dog" }
    {  "index": {  "_id": 3 }}
    {  "title": "The quick brown fox jumps over the quick dog" }
    {  "index": {  "_id": 4 }}
    {  "title": "Brown fox brown dog" }

简单的查询语句

GET /my_index/my_type/_search
    { 
        "query": { 
            "match": { 
                "title": "QUICK!"
            }
        }
    }

Elasticsearch通过下面的步骤执行match查询：  
![在这里插入图片描述][20201108143806700.png_pic_center]  
1、检查field类型  
title字段是一个字符串(analyzed)，所以该查询字符串也需要被分析(analyzed)

2、分析查询字符串  
查询词QUICK!经过标准分析器的分析后变成单词quick。因为我们只有一个查询词，因此match查询可以以一种低级别term查询的方式执行

3、找到匹配的文档  
term查询在倒排索引中搜索quick，并且返回包含该词的文档。在这个例子中，返回的文档是1，2，3

4、为每个文档打分  
term查询综合考虑词频（每篇文档title字段包含quick的次数）、逆文档频率（在全部文档中title字段包含quick的次数）、包含quick的字段长度（长度越短越相关）来计算每篇文档的相关性得分\_score

#### （2）多词查询 ####

如果一次只能查询一个关键词，全文检索将会很不方便。ES中用match查询进行多词查询也很简单：

GET /my_index/my_type/_search
    { 
        "query": { 
            "match": { 
                "title": "BROWN DOG!"
            }
        }
    }

因为match查询需要查询两个关键词：“brown"和"dog”，在内部会执行两个term查询并综合二者的结果得到最终的结果。match的实现方式是将两个term查询放入一个bool查询  
重要的一点是，'title’字段包含至少一个查询关键字的文档都被认为是符合查询条件的。匹配的单词数越多，文档的相关度越高。

【提高精度】  
匹配包含任意个数查询关键字的文档可能会得到一些看似不相关的结果，这是一种霰弹策略(shotgun approach)。然而我们可能想得到包含所有查询关键字的文档。换句话说，我们想得到的是匹配’brown AND dog’的文档，而非’brown OR dog’。

match查询接受一个’operator’参数，默认值为or。如果要求所有查询关键字都匹配，可以更改参数值为and：

GET /my_index/my_type/_search
    { 
      "query": { 
        "match": { 
          "title": { 
            "query": "BROWN DOG!",
            "operator": "and"
          }
        }
      }
    }

查询返回结果如下，每个文本都包含了brown 和dog单词  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09jdG9wdXMyMQ_size_16_color_FFFFFF_t_70_pic_center]  
【控制精度】  
在 all 和 any 之间的选择有点过于非黑即白。如果用户指定了5个查询关键字，而一个文档只包含了其中的4个？将’operator’设置为’and’会排除这个文档。

有时这的确是用户想要的结果。但在大多数全文检索的使用场景下，用户想得到相关的文档，排除那些不太可能相关的文档。换句话说，我们需要介于二者之间的选项。

match查询有’minimum\_should\_match’参数，参数值表示被视为相关的文档必须匹配的关键词个数。参数值可以设为整数，也可以设置为百分数。因为不能提前确定用户输入的查询关键词个数，使用百分数也很合理

GET /my_index/my_type/_search
    { 
      "query": { 
        "match": { 
          "title": { 
            "query": "BROWN DOG!",
            "minimum_should_match": "75%"
          }
        }
      }
    }

当’minimum\_should\_match’被设置为百分数时，查询进行如下：在上面的例子里，'75%‘会被下舍为’66.6%’，也就是2个关键词。不论参数值为多少，进入结果集的文档至少应匹配一个关键词

#### （3）组合查询 ####

我们讨论了怎样用布尔过滤器组合多个用and, or, and not逻辑组成的过滤子句，在查询中, 布尔查询充当着相似的作用，但是有一个重要的区别。

过滤器会做一个判断: 是否应该将文档添加到结果集? 然而查询会做更精细的判断. 他们不仅决定一个文档是否要添加到结果集，而且还要计算文档的相关性（relevant）.

像过滤器一样, 布尔查询接受多个用must, must\_not, and should的查询子句. 例:

GET /my_index/my_type/_search
    { 
      "query": { 
        "bool": { 
          "must":     {  "match": {  "title": "quick" }},
          "must_not": {  "match": {  "title": "lazy"  }},
          "should": [
                      {  "match": {  "title": "brown" }},
                      {  "match": {  "title": "dog"   }}
          ]
        }
      }
    }

在前面的查询中，凡是满足title字段中包含quick，但是不包含lazy的文档都会在查询结果中。到目前为止，布尔查询的作用非常类似于布尔过滤的作用。

当should过滤器中有两个子句时不同的地方就体现出来了，下面例子就可以体现：一个文档不需要同时包含brown和dog，但如果同时有这两个词，这个文档的相关性就更高:

【得分计算】  
布尔查询通过把所有符合must 和 should的子句得分加起来，然后除以must 和 should子句的总数为每个文档计算相关性得分。

must\_not子句并不影响得分；他们存在的意义是排除已经被包含的文档。

【精度控制】  
所有的 must 子句必须匹配, 并且所有的 must\_not 子句必须不匹配, 但是多少 should 子句应该匹配呢? 默认的，不需要匹配任何 should 子句，一种情况例外：如果没有must子句，就必须至少匹配一个should子句。

像我们控制match查询的精度一样，我们也可以通过minimum\_should\_match参数控制多少should子句需要被匹配，这个参数可以是正整数，也可以是百分比。

GET /my_index/my_type/_search
    { 
      "query": { 
        "bool": { 
          "should": [
            {  "match": {  "title": "brown" }},
            {  "match": {  "title": "fox"   }},
            {  "match": {  "title": "dog"   }}
          ],
          "minimum_should_match": 2     }
      }
    }

minimum\_should\_match这也可以用百分比表示

结果集仅包含title字段中有"brown" 和 “fox”, “brown” 和 “dog”, 或 “fox” 和 "dog"的文档。如果一个文档包含上述三个条件，那么它的相关性就会比其他仅包含三者中的两个条件的文档要高

#### （4）布尔匹配 ####

到现在为止，你可能已经意识到在一个布尔查询中多字段match查询仅仅包裹了已经生成的term查询。通过默认的or操作符，每个term查询都会像一个should子句一样被添加，只要有一个子句匹配就可以了。下面的两个查询是等价的：

{ 
        "match": {  "title": "brown fox"}
    }

{ 
      "bool": { 
        "should": [
          {  "term": {  "title": "brown" }},
          {  "term": {  "title": "fox"   }}
        ]
      }
    }

通过and操作符，所有的term查询会像must子句一样被添加，因此所有的子句都必须匹配。下面的两个查询是等价的：

{ 
        "match": { 
            "title": { 
                "query":    "brown fox",
                "operator": "and"
            }
        }
    }

{ 
      "bool": { 
        "must": [
          {  "term": {  "title": "brown" }},
          {  "term": {  "title": "fox"   }}
        ]
      }
    }

如果minimum\_should\_match参数被指定，match查询就直接被转换成一个bool查询，下面两个查询是等价的：

{ 
        "match": { 
            "title": { 
                "query":                "quick brown fox",
                "minimum_should_match": "75%"
            }
        }
    }

{ 
      "bool": { 
        "should": [
          {  "term": {  "title": "brown" }},
          {  "term": {  "title": "fox"   }},
          {  "term": {  "title": "quick" }}
        ],
        "minimum_should_match": 2  }
    }

因为只有三个子句，所以 minimum\_should\_match参数在match查询中的值75%就下舍到了2。3个should子句中至少有两个子句匹配。

当然，我们通常写这些查询类型的时候还是使用match查询的，但是理解match查询在内部是怎么工作的可以让你在任何你需要使用的时候更加得心应手。有些情况仅仅使用一个match查询是不够的，比如给某些查询词更高的权重。

#### （5）增加字句 ####

bool查询并不仅仅是组合多个简单的一个词的match查询。他可以组合任何其他查询，包括bool查询。bool查询通常会通过组合几个不同查询的得分为每个文档调整相关性得分。

假设我们想查找关于”full-text search”的文档，但是我们又想给涉及到“Elasticsearch”或者“Lucene”的文档更高的权重。我们的用意是想涉及到”Elasticsearch” 或者 “Lucene”的文档的相关性得分会比那些没有涉及到的文档的得分要高，也就是说这些文档会出现在结果集更靠前的位置

一个简单的bool查询允许我们写出像下面一样的非常复杂的逻辑：

GET /_search
    { 
        "query": { 
            "bool": { 
                "must": { 
                    "match": { 
                        "content": { 
                            "query":    "full text search",
                            "operator": "and"
                        }
                    }
                },
                "should": [ 
                    {  "match": {  "content": "Elasticsearch" }},
                    {  "match": {  "content": "Lucene"        }}
                ]
            }
        }
    }

1、content字段必须包含full,text,search这三个单词。  
2、如果content字段也包含了“Elasticsearch”或者“Lucene”，则文档会有一个更高的得分

匹配的should子句越多，文档的相关性就越强。到目前为止一切都很好。但是如果我们想给包含“Lucene”一词的文档比较高的得分，甚至给包含“Elasticsearch”一词更高的得分要怎么做呢？

我们可以在任何查询子句中指定一个boost值来控制相对权重，默认值为1。一个大于1的boost值可以提高查询子句的相对权重。因此我们可以像下面一样重写之前的查询：

GET /_search
    { 
        "query": { 
            "bool": { 
                "must": { 
                    "match": {  
                        "content": { 
                            "query":    "full text search",
                            "operator": "and"
                        }
                    }
                },
                "should": [
                    {  "match": { 
                        "content": { 
                            "query": "Elasticsearch",
                            "boost": 3 
                        }
                    }},
                    {  "match": { 
                        "content": { 
                            "query": "Lucene",
                            "boost": 2 
                        }
                    }}
                ]
            }
        }
    }

1、这些查询子句的boost值为默认值1。  
2、这个子句是最重要的，因为他有最高的boost值。  
3、这个子句比第一个查询子句的要重要，但是没有“Elasticsearch”子句重要

注意事项：

1、boost参数用于提高子句的相对权重（boost值大于1）或者降低子句的相对权重（boost值在0-1之间），但是提高和降低并非是线性的。换句话说，boost值为2并不能够使结果变成两部的得分。

2、另外，boost值被使用了以后新的得分是标准的。每个查询类型都会有一个独有的标准算法，算法的详细内容并不在本书的范畴。简单的概括一下，一个更大的boost值可以得到一个更高的得分。

3、如果你自己实现了没有基于TF/IDF的得分模型，但是你想得到更多的对于提高得分过程的控制，你可以使用function\_score查询来调整一个文档的boost值而不用通过标准的步骤

[20201108143806700.png_pic_center]: /images/20221120/590a2418e10343febb0705b362477ee1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09jdG9wdXMyMQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/4749c29969e344d0a1a423d3f12a11a5.png