ElasticSearch索引--查询使用指南

不念不忘少年蓝@ 2022-05-15 09:41 212阅读 0赞

### **1. 我们通常用`_cat api`检测集群是否健康。 确保9200端口号可用:** ###

curl 'localhost:9200/_cat/health?v'

![70][]

绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用.

### **2. 通过如下语句，我们可以获取集群的节点列表：** ###

curl 'localhost:9200/_cat/nodes?v'

![70 1][]

### **3. 通过如下语句，列出所有索引：** ###

curl 'localhost:9200/_cat/indices?v'

![70 2][]

### **4. 创建索引** ###

现在我们创建一个名为“jd”的索引，然后再查看所有的索引：

![70 3][]

![70 4][]

上图中所表示的是：我们有一个叫jd的索引，它有五个私有的分片以及一个副本，在它里面有0个文档。

### **5. 插入和获取** ###

现在我么插入一些数据到集群索引。我们必须给ES指定所以的类型。如下语句："external" type, ID：1:

主体为JSON格式的语句： \{ "name": "John Doe", "id":"11111" \}

curl -XPUT 'localhost:9200/jd/external/1?pretty' -d'{"name":"john Doe","id":11111}'

![70 5][]

返回结果为：created：true 表示插入成功。

获取数据GET，语句如下：

curl -XGET 'localhost:9200/jd/external/1?pretty'

其中含义为：获取jd索引下类型为external，id为1的数据，pretty参数表示返回结果格式美观。

![70 6][]

### **6. 删除索引 DELETE** ###

curl -XDELETE 'localhost:9200/jd?pretty'
    curl 'localhost:9200/_cat/indices?v'

![70 7][]

表示索引删除成功。

### **7. 通过以上命令语句的学习，我们发现索引的增删改查有一个类似的格式，总结如下：** ###

curl -X<REST Verb> <Node>:<Port>/<Index>/<Type>/<ID>

<REST Verb>：REST风格的语法谓词

<Node>:节点ip

<port>:节点端口号，默认9200

<Index>:索引名

<Type>:文档类型

<ID>:操作对象的ID号

### **8. 修改数据** ###

命令语句：先新增id为1，name为john Doe的数据，然后将id为1的name修改为Jane Doe。

curl -XPUT 'localhost:9200/jd/external/1?pretty' -d'{"name":"john Doe","id":11111}'
    
    curl -XPUT 'localhost:9200/jd/external/1?pretty' -d'{"name":"Jane Doe","id":11111}'
    
    curl -XGET 'localhost:9200/jd/external/1?pretty'

![70 8][]

### **9. 更新数据** ###

将id为1文档的name字段更新为Jane Bob：

curl -XPOST 'localhost:9200/jd/external/1/_update?pretty' -d'{"doc":{"name":"Jane Bob"}}'

![70 9][]

将id为1数据的name字段更新为Jane Doe同时增加字段age为20:

curl -XPOST 'localhost:9200/jd/external/1/_update?pretty' -d'{"doc":{"name":"Jane Bob","age":20}}'

也可以通过一些简单的scripts来执行更新。一下语句通过使用script将年龄增加5:

curl -XPOST 'localhost:9200/jd/external/1/_update?pretty' -d'{"script": "ctx._source.age += 5"}'

![70 10][]

### **10. 删除数据** ###

下面的语句将执行删除Customer中ID为2的数据：

curl -XDELETE 'localhost:9200/jd/external/2?pretty'

### **11. 批处理** ###

下面语句将在一个批量操作中执行创建索引：

![70 11][]

![70 12][]

注意换行：包括-d' '后面的两个 ' 符号，否则报错

{
      "error" : {
        "root_cause" : [
          {
            "type" : "action_request_validation_exception",
            "reason" : "Validation Failed: 1: no requests added;"
          }
        ],
        "type" : "action_request_validation_exception",
        "reason" : "Validation Failed: 1: no requests added;"
      },
      "status" : 400
    }

最后一个 ‘ 应该单独一行，否则批量操作的最后一个操作无效。

下面语句批处理执行更新id为1的数据然后执行删除id为2的数据:

curl -XPOST localhost:9200/jd/external/_bulk?pretty -d'
    > {"update":{"_id":"1"}}
    > {"doc":{"name":"John Done becomes Jane Doe"}}
    > {"delete":{"_id":"2"}}
    > '

### **12. 导入数据集** ###

你可以[点击这里][Link 1]下载示例数据集:accounts.json

其中每个数据都是如下格式:

{"index":{"_id":"1"}}
    {"account_number":1,"balance":39225,"firstname":"Amber","lastname":"Duke","age":32,"gender":"M","address":"880 Holmes Lane","employer":"Pyrami","email":"amberduke@pyrami.com","city":"Brogan","state":"IL"}

导入数据集：

curl -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary "@accounts.json"

![70 13][]

上图红框表示我们已经成功批量导入1000条数据索引到bank索引中。

### **13. 查询** ###

curl 'localhost:9200/jd/_search?q=*&pretty'

![70 14][]

上面示例返回所有bank中的索引数据。其中 q=\* 表示匹配索引中所有的数据。

等价于:

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '{ "query": { "match_all": {} } }'

### **14. 查询语言** ###

匹配所有数据，但只返回1个:

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '{ "query": { "match_all": {} },"size":1 }'

注意：如果siez不指定，则默认返回10条数据。

返回从11到13的数据。（索引下标从0开始）:

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
    {
        "query": { "match_all": {} },
        "from": 10,
     　 "size": 3
    }

匹配所有的索引中的数据，按照balance字段降序排序，并且返回前10条（如果不指定size，默认最多返回10条）:

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
    {
        "query": { "match_all": {} },
        "sort": { "balance": { "order": "desc" } }
    }'

### **15. 执行搜索** ###

下面例子展示如何返回两个字段（account\_number balance）:

curl -XPOST 'localhost:9200/bank/_search?pretty' -d'
    {
        "query":{"match_all":{}},
        "_source":["account_number","balance"]
    }'

![70 15][]

返回account\_number 为20 的数据:

curl -XPOST 'localhost:9200/bank/_search?pretty' -d'
    {
        "query":{"match":{"account_number":20}}
    }'

![70 16][]

返回address中包含mill的所有数据：

curl -XPOST 'localhost:9200/bank/_search?pretty' -d'
    {
        "query":{"match":{"address":"mill"}}
    }'

![70 17][]

返回地址中包含mill或者lane的所有数据：

curl -XPOST 'localhost:9200/bank/_search?pretty' -d'
    {
        "query":{"match":{"address":"mill lane"}}
    }

和上面匹配单个词语不同，下面这个例子是多匹配（match\_phrase短语匹配），返回地址中包含短语 “mill lane”的所有数据：

curl -XPOST 'localhost:9200/bank/_search?pretty' -d'
    {
        "query":{"match_phrase":{"address":"mill lane"}}
    }'

以下是布尔查询，布尔查询允许我们将多个简单的查询组合成一个更复杂的布尔逻辑查询。

这个例子将两个查询组合，返回地址中含有mill和lane的所有记录数据：

curl -XPOST 'localhost:9200/bank/_search?pretty' -d'
    {
        "query":{
            "bool":{
                "must":[
                    {"match":{"address":"mill"}},
                    {"match":{"address":"lane"}}
                ]
            }
        }
    }'

上述例子中，must表示所有查询必须都为真才被认为匹配。

*  组合两个查询，返回地址中含有mill 和 lane的所有记录数据："should"
 *  组合两个查询，返回地址中含有mill或者lane的所有记录数据："should"
 *  组合两个查询，返回地址中既没有mill也没有lane的所有数据："must\_not"

我们可以组合must、should、must\_not来实现更加复杂的多级逻辑查询。

下面这个例子返回年龄40岁、不居住在ID的所有数据：

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
    {  
        "query":    
        {        
            "bool":
            {           
                "must": [{ "match": { "age": "40" } }],
                "must_not": [{ "match": { "state": "ID" } }]
            }
        }
    }'

![70 18][]

### **16. 过滤filter(查询条件设置)** ###

下面这个例子使用了布尔查询返回balance在20000到30000之间的所有数据:

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
    {
        "query": {
            "bool": {
                "must": { "match_all": {} },
                "filter": {
                    "range": {
                        "balance": {
                            "gte": 20000,
                            "lte": 30000
                        }
                    }
                }
            }
        }
    }'

![70 19][]

### **17. 聚合 Aggregations** ###

下面这个例子： 将所有的数据按照state分组（group），然后按照分组记录数从大到小排序，返回前十条（默认）：

注意：我们设置size=0，不显示查询hits，因为我们只想看返回的聚合结果。

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
    {
        "size":0,
        "aggs":{
            "group_by_state":{
                "terms":{
                    "field":"state.keyword"
                }
            }
        }
    }'

Elasticsearch5.x版本中对Text类型进行聚合时提示illegal\_argument\_exception:

"type": "illegal_argument_exception",
          "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [answer] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory."

更改： "field":"xxx.keyword" 加上 **.keyword**

![70 20][]

上述语句类似于以下SQL语句：

SELECT state, COUNT(*) FROM bank GROUP BY state ORDER BY COUNT(*) DESC

下面这个实例按照state分组，降序排序，返回balance的平均值：

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
    {
        "size": 0,
        "aggs": {
            "group_by_state": {
                "terms": {
                    "field": "state.keyword"
                },
                "aggs": {
                    "average_balance": {
                        "avg": {
                            "field": "balance"
                        }
                    }
                }
            }
        }
    }'

![70 21][]

![70 22][]

![70 23][]

--------------------

**End**

[70]: /images/20220515/20df1f9641ba4c939e828a6139bc667a.png
[70 1]: /images/20220515/4ea1513f74a94f8c84e8f46519574bcc.png
[70 2]: /images/20220515/449d0650be574d4d89752e2853d95288.png
[70 3]: /images/20220515/ebc3e8c951fb47cb89676b5d73e8125d.png
[70 4]: /images/20220515/e10ce4ed8d2c4f5f8da7a3054c7b8f61.png
[70 5]: /images/20220515/620de44c69594dce96438119d8b44703.png
[70 6]: /images/20220515/03735c91a9614575b949c3cc4df227f9.png
[70 7]: /images/20220515/ea48948d7a2943988d77f307f756c205.png
[70 8]: /images/20220515/3c2935f2f0cc4fde9565d92796939ebe.png
[70 9]: /images/20220515/88375c0d74b640c4b03042902c170f08.png
[70 10]: /images/20220515/7dc8e58f440b44658b9d42ac5c3515df.png
[70 11]: /images/20220515/ae7b4d8b9cbd4b4faa0ff9752f38dbf9.png
[70 12]: /images/20220515/48c77b78ec7d4910a5b4e1f6894c83ae.png
[Link 1]: https://github.com/bly2k/files/blob/master/accounts.zip?raw=true
[70 13]: /images/20220515/ac4a98ebad564059af58def59b122460.png
[70 14]: /images/20220515/c33da226b5f040c5bf395724b1681b7d.png
[70 15]: /images/20220515/b66beb717c9b4c0f8627ff73569a842e.png
[70 16]: /images/20220515/f8e5072dcff34efcb28864cc2c043a62.png
[70 17]: /images/20220515/098dac746d6f40dabb8bf9d547a0f312.png
[70 18]: /images/20220515/0c0ac90e9fba44bebcda960864fd603f.png
[70 19]: /images/20220515/c949958f6e61429b891194270bff565e.png
[70 20]: /images/20220515/1c619eb2d74244d1b87a88433dc08af2.png
[70 21]: /images/20220515/38b9ac544cbd4c80aec56eca6a517288.png
[70 22]: /images/20220515/a9def78eb8284d0ab6ca3998ca28a771.png
[70 23]: /images/20220515/83aefcc432b64b029df28f99cf8d0598.png