ElasticSearch7.x「新特性」

Dear 丶 2022-12-22 10:00 229阅读 0赞

## 背景 ##

原来一直用的ES6，刚转到ES7踩得一些坑，和一些新特性的学习过程。

1. ES 数据库的存储结构变化：去除了Type

*  es6时，官方就提到了es7会删除type，并且es6时已经规定**每一个index只能有一个type**。在es7中使用默认的\_doc作为type，官方说在8.x版本会彻底移除type。
 *  api请求方式也发送变化，对索引的文档进行操作的时候，默认使用的Type是 **\_doc**
 *  如获得某索引的某ID的文档：GET index/\_doc/id其中index和id为具体的值

2.创建索引mapping关系的时候，容易出的错：Root mapping definition has unsupported parameters

*  **ElasticSearch6** 中创建索引映射关系的语法

put es_test_index
    {
        "settings": {
            "index": {
                "analysis.analyzer.default.type": "ik_max_word"
            }
        },
        "mappings": {
        	 "item": {  # type的名字 item【7.X没用了】
    	        "properties": {
    	            "site_id": {
    	                "type": "long",
    	                "index": True
    	            },
    	            "content": {
    	                "type": "text"
    	            }
    	        }
            }
       }
    }

*  ElasticSearch7 中执行需要去掉 Type类型，修改为

put es_test_index
    {
        "settings": {
            "index": {
                "analysis.analyzer.default.type": "ik_max_word",
                "number_of_shards":3,
    		    "number_of_replicas":2
            }
        },
        "mappings": {
            "properties": {
                "site_id": {
                    "type": "long",
                    "index": True
                },
                "content": {
                    "type": "text"
                }
            }
       }
    }   
    
    //_type(隐性)替代方案在 document中新增 type字段或者其他字段进行区分
    
    PUT twitter
    {
      "mappings": {
        "_doc": {
          "properties": {
            "type": { "type": "keyword" }, # 1
            "name": { "type": "text" },
            "user_name": { "type": "keyword" },
            "email": { "type": "keyword" },
            "content": { "type": "text" },
            "tweeted_at": { "type": "date" }
          }
        }
      }
    }
    
    PUT twitter/_doc/user-kimchy
    {
      "type": "user", # 2
      "name": "Shay Banon",
      "user_name": "kimchy",
      "email": "shay@kimchy.com"
    }
    
    PUT twitter/_doc/tweet-1
    {
      "type": "tweet", # 3
      "user_name": "kimchy",
      "tweeted_at": "2017-10-24T09:00:00Z",
      "content": "Types are going away"
    }
    
    GET twitter/_search
    {
      "query": {
        "bool": {
          "must": {
            "match": {
              "user_name": "kimchy"
            }
          },
          "filter": {
            "match": {
              "type": "tweet" # 4
            }
          }
        }
      }
    }

3.默认配置变化：默认节点名称为主机名，默认分片数为1，不再是5

4.查询相关速度优化：Weak-AND算法

*  weak-and算法，又称为Wand算法， 输入是n个倒排队列，输出top K个得分最高的文档doc

5.**彻底废除 **\_all 字段的支持，为提升性能默认不在支持全文检索

6.新增的功能

6.1 新增应用程序主动检测功能，**搭配对应版本的kibana，用户可监测应用服务的健康状态**，并在出现问题后及时发出通知

6.2 新增间隔查询（Intervals Queries），用户可设置多字符串在文档中出现的先后顺序进行检索

6.3 自带jdk，所以在安装ES时不再需要单独下载和配置JAVA\_HOME。

**取消Query结果中的Hits Count的支持（聚合查询除外），使得查询性能大幅提升。这就意味着，每次查询后将不能得到精确的结果集数量**

> 6.4 的集群协调子系统，缩减配置项提升稳定性。时间戳纳秒级支持，提升数据精度
> 
>  移除 minimum\_master\_nodes 参数，让 Elasticsearch 自己选择可以形成仲裁的节点。
> 
> 典型的主节点选举现在只需要很短的时间就可以完成。
> 
> 集群的伸缩变得更安全、更容易，并且可能造成丢失数据的系统配置选项更少了。
> 
> 节点更清楚地记录它们的状态，有助于诊断为什么它们不能加入集群或为什么无法选举出主节点。

7.不会再有OOM(内存溢出)的情况，JVM引入了新的circuit breaker（熔断）机制，当查询或聚合的数据量超过单机处理的最大内存限制时会被截断，并抛出异常