ElasticSearch小案例实战

待我称王封你为后i 2021-11-11 06:44 400阅读 0赞

# 简单的集群管理 #

（1）快速检查集群的健康状况

es提供了一套api，叫做cat api，可以查看es中各种各样的数据

GET /\_cat/health?v

如何快速了解集群的健康状况？green、yellow、red？

green：每个索引的primary shard和replica shard都是active状态的

yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态

red：不是所有索引的primary shard都是active状态的，部分索引有数据丢失了

我们现在就一个笔记本电脑，就启动了一个es进程，相当于就只有一个node。现在es中有一个index，就是kibana自己内置建立的index。由于默认的配置是给每个index分配5个primary shard和5个replica shard，而且primary shard和replica shard不能在同一台机器上（为了容错）。现在kibana自己建立的index是1个primary shard和1个replica shard。当前就一个node，所以只有1个primary shard被分配了和启动了，但是一个replica shard没有第二台机器去启动。

做一个小实验：此时只要启动第二个es进程，就会在es集群中有2个node，然后那1个replica shard就会自动分配过去，然后cluster status就会变成green状态。

2）快速查看集群中有哪些索引

GET /\_cat/indices?v

创建索引：PUT /test\_index?pretty

删除索引：DELETE /test\_index?pretty

# 商品的CRUD操作 #

（1）新增商品：新增文档，建立索引

PUT /ecommerce/product/1
    {
        "name" : "gaolujie yagao",
        "desc" :  "gaoxiao meibai",
        "price" :  30,
        "producer" : "gaolujie producer",
        "tags": [ "meibai", "fangzhu" ]
    }
    
    
    PUT /ecommerce/product/2
    {
        "name" : "jiajieshi yagao",
        "desc" :  "youxiao fangzhu",
        "price" :  25,
        "producer" :      "jiajieshi producer",
        "tags": [ "fangzhu" ]
    }
    
    PUT /ecommerce/product/3
    {
        "name" : "zhonghua yagao",
        "desc" :  "caoben zhiwu",
        "price" :  40,
        "producer" :      "zhonghua producer",
        "tags": [ "qingxin" ]
    }

es会自动建立index和type，不需要提前创建，而且es默认会对document每个field都建立倒排索引，让其可以被搜索
    
    （2）查询商品：检索文档

GET /ecommerce/product/1

（3）修改商品：替换文档

PUT /ecommerce/product/1
    {
        "name" : "jiaqiangban gaolujie yagao",
        "desc" :  "gaoxiao meibai",
        "price" :  30,
        "producer" : "gaolujie producer",
        "tags": [ "meibai", "fangzhu" ]
    }

PUT /ecommerce/product/1
    {
        "name" : "jiaqiangban gaolujie yagao"
    }

替换方式有一个不好，必须带上所有的field，才能去进行休息的修改，否则就是替换

（4）修改商品：更新文档

POST /ecommerce/product/1/_update
    {
      "doc": {
        "name": "jiaqiangban gaolujie yagao"
      }
    }

更新方式制定自己要修改的field即可

（5）删除商品：删除文档

DELETE /ecommerce/product/1

# 简单查询操作 #

1、query string search

2、query DSL

3、query filter

4、full-text search

5、phrase search

6、highlight search

很别扭，term，词项

1、query string search

搜索全部商品：GET /ecommerce/product/\_search

took：耗费了几毫秒

timed\_out：是否超时，这里是没有

\_shards：数据拆成了5个分片，所以对于搜索请求，会打到所有的primary shard（或者是它的某个replica shard也可以）

hits.total：查询结果的数量，3个document

hits.max\_score：score的含义，就是document对于一个search的相关度的匹配分数，越相关，就越匹配，分数也高

hits.hits：包含了匹配搜索的document的详细数据

query string search的由来，因为search参数都是以http请求的query string来附带的

搜索商品名称中包含yagao的商品，而且按照售价降序排序：GET /ecommerce/product/\_search?q=name:yagao&sort=price:desc

适用于临时的在命令行使用一些工具，比如curl，快速的发出请求，来检索想要的信息；但是如果查询请求很复杂，是很难去构建的

在生产环境中，几乎很少使用query string search

2、query DSL

DSL：Domain Specified Language，特定领域的语言

http request body：请求体，可以用json的格式来构建查询语法，比较方便，可以构建各种复杂的语法，比query string search肯定强大多了

查询所有的商品

GET /ecommerce/product/_search
    
    {
    
     "query": { "match_all": {} }
    
    }

查询名称包含yagao的商品，同时按照价格降序排序

GET /ecommerce/product/_search
    
    {
    
       "query" : {
    
           "match" : {
    
               "name" : "yagao"
    
           }
    
       },
    
       "sort": [
    
           { "price": "desc" }
    
       ]
    
    }

分页查询商品，总共3条商品，假设每页就显示1条商品，现在显示第2页，所以就查出来第2个商品

GET /ecommerce/product/_search
    
    {
    
     "query": { "match_all": {} },
    
     "from": 1,
    
     "size": 1
    
    }

指定要查询出来商品的名称和价格就可以

GET /ecommerce/product/_search
    
    {
    
     "query": { "match_all": {} },
    
     "_source": ["name", "price"]
    
    }

更加适合生产环境的使用，可以构建复杂的查询

3、query filter

搜索商品名称包含yagao，而且售价大于25元的商品

GET /ecommerce/product/_search
    
    {
    
       "query" : {
    
           "bool" : {
    
               "must" : {
    
                   "match" : {
    
                       "name" : "yagao"  
    
                   }
    
               },
    
               "filter" : {
    
                   "range" : {
    
                       "price" : { "gt" : 25 }  
    
                   }
    
               }
    
           }
    
       }
    
    }

4、full-text search（全文检索）

GET /ecommerce/product/_search
    
    {
    
       "query" : {
    
           "match" : {
    
               "producer" : "yagao producer"
    
           }
    
       }
    
    }

producer这个字段，会先被拆解，建立倒排索引

special  4

yagao  4

producer 1,2,3,4

gaolujie 1

zhognhua 3

jiajieshi 2

yagao producer ---> yagao和producer

5、phrase search（短语搜索）

跟全文检索相对应，相反，全文检索会将输入的搜索串拆解开来，去倒排索引里面去一一匹配，只要能匹配上任意一个拆解后的单词，就可以作为结果返回

phrase search，要求输入的搜索串，必须在指定的字段文本中，完全包含一模一样的，才可以算匹配，才能作为结果返回

GET /ecommerce/product/_search
    
    {
    
       "query" : {
    
           "match_phrase" : {
    
               "producer" : "yagao producer"
    
           }
    
       }
    
    }

6、highlight search（高亮搜索结果）

GET /ecommerce/product/_search
    
    {
    
       "query" : {
    
           "match" : {
    
               "producer" : "producer"
    
           }
    
       },
    
       "highlight": {
    
           "fields" : {
    
               "producer" : {}
    
           }
    
       }
    
    }

# 聚合查询操作 #

第一个分析需求：计算每个tag下的商品数量

GET /ecommerce/product/_search
    
    {
    
     "aggs": {
    
       "group_by_tags": {
    
         "terms": { "field": "tags" }
    
       }
    
     }
    
    }

将文本field的fielddata属性设置为true

PUT /ecommerce/_mapping/product
    
    {
    
     "properties": {
    
       "tags": {
    
         "type": "text",
    
         "fielddata": true
    
       }
    
     }
    
    }

GET /ecommerce/product/_search
    
    {
    
     "size": 0,
    
     "aggs": {
    
       "all_tags": {
    
         "terms": { "field": "tags" }
    
       }
    
     }
    
    }

第二个聚合分析的需求：对名称中包含yagao的商品，计算每个tag下的商品数量

GET /ecommerce/product/_search
    
    {
    
     "size": 0,
    
     "query": {
    
       "match": {
    
         "name": "yagao"
    
       }
    
     },
    
     "aggs": {
    
       "all_tags": {
    
         "terms": {
    
           "field": "tags"
    
         }
    
       }
    
     }
    
    }

第三个聚合分析的需求：先分组，再算每组的平均值，计算每个tag下的商品的平均价格

GET /ecommerce/product/_search
    
    {
    
       "size": 0,
    
       "aggs" : {
    
           "group_by_tags" : {
    
               "terms" : { "field" : "tags" },
    
               "aggs" : {
    
                   "avg_price" : {
    
                       "avg" : { "field" : "price" }
    
                   }
    
               }
    
           }
    
       }
    
    }

第四个数据分析需求：计算每个tag下的商品的平均价格，并且按照平均价格降序排序

GET /ecommerce/product/_search
    
    {
    
       "size": 0,
    
       "aggs" : {
    
           "all_tags" : {
    
               "terms" : { "field" : "tags", "order": { "avg_price": "desc" } },
    
               "aggs" : {
    
                   "avg_price" : {
    
                       "avg" : { "field" : "price" }
    
                   }
    
               }
    
           }
    
       }
    
    }

第五个数据分析需求：按照指定的价格范围区间进行分组，然后在每组内再按照tag进行分组，最后再计算每组的平均价格

GET /ecommerce/product/_search
    
    {
    
     "size": 0,
    
     "aggs": {
    
       "group_by_price": {
    
         "range": {
    
           "field": "price",
    
           "ranges": [
    
             {
    
               "from": 0,
    
               "to": 20
    
             },
    
             {
    
               "from": 20,
    
               "to": 40
    
             },
    
             {
    
               "from": 40,
    
               "to": 50
    
             }
    
           ]
    
         },
    
         "aggs": {
    
           "group_by_tags": {
    
             "terms": {
    
               "field": "tags"
    
             },
    
             "aggs": {
    
               "average_price": {
    
                 "avg": {
    
                   "field": "price"
    
                 }
    
               }
    
             }
    
           }
    
         }
    
       }
    
     }
    
    }