kibana 操作es文档详细总结

喜欢ヅ旅行 2023-10-02 22:59 15阅读 0赞

## 前言 ##

在上一篇，分享了使用kibana如何对索引进行增删改查等操作，事实上在日常开发与运维中，操作索引毕竟是比较谨慎的事情，但是对于索引中文档的增删查改却是随处可见的，es对文档的操作不仅频繁，而且涉及到的点比较多，本文将分享对文档的基本的操作；

## 一、给文档添加数据 ##

首先创建一个索引

> PUT test\_doc

#### 使用 put 给文档添加一条数据 ####

![1a77e33a70c044598acf8895494be5d2.png][]

执行上面的语句发现报错了，因为es中的文档数据需要唯一性标识，因此需要添加一个id，修改下执行语句

PUT test_doc/_doc/1001
    {
      "id":1001,
      "name":"jerry",
      "age":12
    }

再次执行后就可以了

![a6897f3917c94dd9b1475c15ef396778.png][]

#### 使用 post 给文档添加一条数据 ####

使用post同样可以达到目的，参考下面的语句

POST test_doc/_doc
    {
      "id":1002,
      "name":"mike",
      "age":15
    }

与put不同的是，post不需要强制在请求URL中添加id值，而是自动为当前这条数据生成一个\_id；

![d6987ca394734ff58b25379463058322.png][]

## 二、查询索引文档数据 ##

#### 按照id值进行查询 ####

查询单个数据

GET test_doc/_doc/1001

![a815e802055b47f69d2f326093026fef.png][]

#### 查询索引下所有文档数据 ####

GET test_doc/_search

![8a8b1ae371ff4cdcbf032dc0e76703f5.png][]

## 三、修改文档数据 ##

#### 使用put进行修改 ####

根据主键值id进行修改

PUT test_doc/_doc/1001
    {
      "id":1001,
      "name":"jerry",
      "age":12
    }

可以看到在这种情况下，新增了一个字段仍然可以修改成功

![b24db50ded3d4daa88ff0f8524c7cd88.png][]

## 四、删除文档数据 ##

##  ##

根据主键id值进行删除

DELETE test_doc/_doc/1001

![e6f4911c92a14ddb987c21449ce5c808.png][]

删除后再次查询，数据被删掉了

![12bef252467f4e43ac25b84d3a2193ea.png][]

## 五、文档搜索 ##

文档搜索是es最强大的功能之一，也是架构设计之初选择es的一个重要原因，es对于文档的搜索提供了丰富的API，下面通过一些实际的操作演示来感受下es文档搜索的强大之处；

### 前置准备 ###

创建一个索引 test\_query，并给这个索引下批量插入一些数据

PUT test_query
    
    PUT test_query/_bulk
    {"index": {"_index": "test_query","_id": "1001"}}
    {"id": "1001","name":"zhang san","age":30}
    {"index": {"_index": "test_query","_id": "1002"}}
    {"id": "1002","name":"li si","age": 40}
    {"index": {"_index": "test_query","_id": "1003"}}
    {"id": "1003", "name": "wang wu","age" : 50}
    {"index": {"_index": "test_query","_id": "1004"}}
    {"id": "1004","name": "zhangsan", "age" : 30}
    {"index": {"_index": "test_query","_id": "1005"}}
    {"id": "1005","name": "lisi","age":40}
    {"index": {"_index": "test_query","_id": "1006"}}
    {"id": "1006", "name ": "wangwu","age" : 50}

### 单个字段相关查询 ###

#### 1、查询某个索引下的所有数据 ####

> GET 索引名称/\_search

![ccb4467c08de4f078719f3354957f8a4.png][]

#### 2、使用match匹配某个字段的关键词 ####

比如name字段中包含 zhangsan 的文档

GET test_query/_search
    {
      "query": {
        "match": {
          "name": "zhangsan"
        }
      }
    }

![917f2d3e2a7f4821a694301ffde5f909.png][]

要注意的是，这种方式查询的结果，表示name 中只要包含了zhangsan这个完整的关键词的文档都会查询出来，因为默认情况下，如果我们未对索引中的字段进行属性映射文件的设置的话，es会对字段进行分词处理；

比如我们再增加下面这条数据

POST test_query/_doc
    {
      "id":"1007",
      "name":"zhang wu",
      "age":37
    }

再次使用 zhang 这个关键词进行name字段查询时，可以看到下面的效果，简而言之：使用match查询时会带有分词效果；

![17a486c48bdf4503bf3c4a558a19dc9c.png][]

#### 3、使用term精确匹配某个字段的关键词 ####

精准匹配name等于zhangsan这个词的文档，term的效果就像mysql语法中的 where name="XXX"

GET test_query/_search
    {
      "query": {
        "term": {
          "name": {
            "value": "zhangsan"
          }
        }
      }
    }

![5afc788bf8394983a0a16d34ddcadc4e.png][]

#### 4、查询结果中过滤某些不需要的字段 ####

某些情况下，不需要查询结果中返回所有的字段，就可以通过添加"\_source"进行限制

GET test_query/_search
    {
      "_source": ["name","age"], 
      
      "query": {
        "match": {
          "name": "zhang"
        }
      }
    }

![76120518151b41d5a35c227a3a0155e5.png][]

### 多条件组合查询 ###

组合查询的关键语法是需要在查询条件中使用bool关键字

####  ####

#### 1、查询name中含有zhang或age为40的数据 ####

> 这个需求类似于mysql 中的or的语法，在es中使用should可以满足类似的需求

GET test_query/_search
    {
      "query": {
        "bool": {
          "should": [
            [
              {
                "match":{
                  "name":"zhang"
                }
              },
              {
                "match":{
                  "age":40
                }
              }
            ]
          ]
        }
      }
    }

![ab21a190230845b9a2ea73377ad6e1c0.png][]

#### 2、查询文档中name中必须含有zhang或者age必须大于等于30岁的数据 ####

> 组合使用should和must

GET test_query/_search
    {
      "query": {
        "bool": {
          "must": [
            [
              {
                "match":{
                  "name":"zhang"
                }
              }
            ]
          ],
          
          "should": [
            {
              "range": {
                "age": {
                  "gte": 30
                }
              }
            }
          ]
        }
      }
    }

![2d5fe44779a847c1bc5ac7c6e60cb890.png][]

### 查询结果排序 ###

查询name中含有 zhang或li的文档，并按照age排序

GET test_query/_search
    {
      
      "query": {
        "match": {
          "name": "zhang"
        }
      },
      "sort":[
        {
          "age" : {
            "order":"desc"
          }
        }
      ]
    }

![1a9248be7ac3459ba1c441847bff6966.png][]

### 分页查询 ###

语法

> GET 索引名称/\_search  
> \{  
> "query": \{  
> "match\_all": \{\}  
> \},  
> "from": 0, //从第几条开始查询  
> "size": 2 //每次查询多少数据  
> \}

看下面的查询结果

GET test_query/_search
    {
      "query": {
        "match_all": {}
      },
      "from": 0,
      "size": 2
    }

![061fbf4ff8b64578b9a75d18d94edb0f.png][]

### 聚合查询 ###

实际业务中，经常会涉及到对查询的结果根据某个或者某些字段进行聚合，类似于mysql中的group by语法；

> 需求1：根据age将查询结果进行分组聚合

注意点：这里 "size"设置为0表示查询结果中不展示其他非聚合结果的信息；

GET test_query/_search
    {
     
      "aggs": {
        "aggAge": {
          "terms": {
            "field": "age"
          }
        }
      },
     
      "size": 0
    }

![0276b14db8964cd89f582e72203d3330.png][]

> 需求2：查询年龄大于等于40岁的，并将结果按照age分组聚合

GET test_query/_search
    {
     
     "query": {
       "range": {
         "age": {
           "gte": 40
         }
       }
     }, 
     
      "aggs": {
        "aggAge": {
          "terms": {
            "field": "age"
          }
        }
      },
     
      "size": 0
    }

查询结果如下

![be45780cea834b17b3bebbfd733ffab2.png][]

> 需求3：根据age分组聚合，再对聚合后的结果按照age求平均值

GET test_query/_search
    {
      "aggs": {
        "ageAgg": {
          "terms": {
            "field": "age"
          },
          
          "aggs": {
            "avgAgg": {
              "avg": {
                "field": "age"
              }
            }
          }
          
        }
      },
      "size": 0
    }

查询结果如下

![d851e342958844af8a6434a3a4175617.png][]

> 需求4：获取结果集中的前N个数据

GET test_query/_search
    {
      "aggs": {
        "top3": {
          "top_hits": {
            "size": 3
          }
        }
      },
      "size": 0
    }

查询结果如下

![79251dbbb9784ec9bbcfc78e3b5e2159.png][]

> 需求5：获取结果集中按照age字段排序后求取前N个数据

GET test_query/_search
    {
      "aggs": {
        "top3": {
          "top_hits": {
            "sort": [
              {
              "age" : {
                  "order":"desc"
                }
              }
            ], 
            "size": 3
          }
        }
      },
      "size": 0
    }

查询结果如下

![c0c1797a25a8404cb7df1813838b16c1.png][]

[1a77e33a70c044598acf8895494be5d2.png]: https://img-blog.csdnimg.cn/1a77e33a70c044598acf8895494be5d2.png
[a6897f3917c94dd9b1475c15ef396778.png]: https://img-blog.csdnimg.cn/a6897f3917c94dd9b1475c15ef396778.png
[d6987ca394734ff58b25379463058322.png]: https://img-blog.csdnimg.cn/d6987ca394734ff58b25379463058322.png
[a815e802055b47f69d2f326093026fef.png]: https://img-blog.csdnimg.cn/a815e802055b47f69d2f326093026fef.png
[8a8b1ae371ff4cdcbf032dc0e76703f5.png]: https://img-blog.csdnimg.cn/8a8b1ae371ff4cdcbf032dc0e76703f5.png
[b24db50ded3d4daa88ff0f8524c7cd88.png]: https://img-blog.csdnimg.cn/b24db50ded3d4daa88ff0f8524c7cd88.png
[e6f4911c92a14ddb987c21449ce5c808.png]: https://img-blog.csdnimg.cn/e6f4911c92a14ddb987c21449ce5c808.png
[12bef252467f4e43ac25b84d3a2193ea.png]: https://img-blog.csdnimg.cn/12bef252467f4e43ac25b84d3a2193ea.png
[ccb4467c08de4f078719f3354957f8a4.png]: https://img-blog.csdnimg.cn/ccb4467c08de4f078719f3354957f8a4.png
[917f2d3e2a7f4821a694301ffde5f909.png]: https://img-blog.csdnimg.cn/917f2d3e2a7f4821a694301ffde5f909.png
[17a486c48bdf4503bf3c4a558a19dc9c.png]: https://img-blog.csdnimg.cn/17a486c48bdf4503bf3c4a558a19dc9c.png
[5afc788bf8394983a0a16d34ddcadc4e.png]: https://img-blog.csdnimg.cn/5afc788bf8394983a0a16d34ddcadc4e.png
[76120518151b41d5a35c227a3a0155e5.png]: https://img-blog.csdnimg.cn/76120518151b41d5a35c227a3a0155e5.png
[ab21a190230845b9a2ea73377ad6e1c0.png]: https://img-blog.csdnimg.cn/ab21a190230845b9a2ea73377ad6e1c0.png
[2d5fe44779a847c1bc5ac7c6e60cb890.png]: https://img-blog.csdnimg.cn/2d5fe44779a847c1bc5ac7c6e60cb890.png
[1a9248be7ac3459ba1c441847bff6966.png]: https://img-blog.csdnimg.cn/1a9248be7ac3459ba1c441847bff6966.png
[061fbf4ff8b64578b9a75d18d94edb0f.png]: https://img-blog.csdnimg.cn/061fbf4ff8b64578b9a75d18d94edb0f.png
[0276b14db8964cd89f582e72203d3330.png]: https://img-blog.csdnimg.cn/0276b14db8964cd89f582e72203d3330.png
[be45780cea834b17b3bebbfd733ffab2.png]: https://img-blog.csdnimg.cn/be45780cea834b17b3bebbfd733ffab2.png
[d851e342958844af8a6434a3a4175617.png]: https://img-blog.csdnimg.cn/d851e342958844af8a6434a3a4175617.png
[79251dbbb9784ec9bbcfc78e3b5e2159.png]: https://img-blog.csdnimg.cn/79251dbbb9784ec9bbcfc78e3b5e2159.png
[c0c1797a25a8404cb7df1813838b16c1.png]: https://img-blog.csdnimg.cn/c0c1797a25a8404cb7df1813838b16c1.png