ES处理 Null 值查询

冷不防 2022-12-19 13:29 372阅读 0赞

倒排索引是标记和包含term的文档的一个简单列表。假如一个字段不存在，它就没有任何标记，也就意味着它无法被倒排索引的数据结构表达出来。

本质上来说，null，\[\]（空数组）和 \[null\] 是相等的。它们都不存在于倒排索引中

显然，这个世界却没有那么简单，数据经常会缺失字段，或包含空值或空数组。为了应对这些情形，Elasticsearch 有一些工具来处理空值或缺失的字段。  
***【exists 过滤器】***

工具箱中的第一个利器是 exists 过滤器，这个过滤器将返回任何包含这个字段的文档，让我们用标签来举例，索引一些示例文档：

POST /my_index1/posts/_bulk
    { "index": { "_id": "1"              }}
    { "tags" : ["search"]                }  
    { "index": { "_id": "2"              }}
    { "tags" : ["search", "open_source"] }  
    { "index": { "_id": "3"              }}
    { "other_field" : "some data"        }  
    { "index": { "_id": "4"              }}
    { "tags" : null                      }  
    { "index": { "_id": "5"              }}
    { "tags" : ["search", null]          }

1、 tags 字段有一个值  
2、 tags 字段有两个值  
3、 tags 字段不存在  
4、 tags 字段被设为 null  
5、 tags 字段有一个值和一个 null

结果我们 tags 字段的倒排索引看起来将是这样：  
![在这里插入图片描述][20201108130918646.png_pic_center]

我们的目标是找出所有设置了标签的文档，我们不关心这个标签是什么，只要它存在于文档中就行。在 SQL 语法中，我们可以用 IS NOT NULL 查询：

SELECT tags
    FROM   posts
    WHERE  tags IS NOT NULL

在 Elasticsearch 中，我们使用 exists 过滤器：

GET /my_index1/_search
    {
      "query": {
        "exists": {
          "field": "tags"
        }
      }
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09jdG9wdXMyMQ_size_16_color_FFFFFF_t_70_pic_center]

返回结果如上，文档 5 虽然包含了一个 null 值，仍被返回了。这个字段存在是因为一个有值的标签被索引了，所以 null 对这个过滤器没有影响

***【查询NULL】***  
missing 过滤器本质上是 exists 的反义词：它返回没有特定字段值的文档，像这条 SQL 一样：

SELECT tags
    FROM   posts
    WHERE  tags IS  NULL

注意：*missing 关键字ES已经不再使用了*，我们可以通过bool表达式来完成我们的查询NULL的需求

GET /my_index1/_search
    {
      "query": {
        "bool": {
          "must_not": {
            "exists":{
       "field":"tags"}
          }
        }
      }
    }

[20201108130918646.png_pic_center]: /images/20221120/a0c95264c4a84b28a4d1bf763a4cc60c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09jdG9wdXMyMQ_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20201108131038246.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09jdG9wdXMyMQ==,size_16,color_FFFFFF,t_70#pic_center