ES入门知识点总结

小鱼儿 2024-05-08 07:25 66阅读 0赞

**目录**

倒排索引

--------------------

## 倒排索引 ##

Elasticsearch的倒排索引是一种数据结构，用于加快基于文本的搜索操作。它的主要优势在于能够快速找到包含特定单词的文档。

倒排索引的构建过程如下：

1.  文档分词：将文档内容分割成单独的词（或者更小的词元，如果是中文的话是分词）。
2.  创建词典：创建一个包含所有不重复词的列表，也称为词典。
3.  创建排序列表：对于词典中的每个词，创建一个排序列表，列出所有包含该词的文档ID。

倒排索引的理解可以通过以下例子来说明：

假设我们有两个文档，每个文档的内容如下：

文档1: "The quick brown fox jumped over the lazy dog."

文档2: "Quick brown foxes leap over lazy dogs in summer."

我们将这些文档发送给Elasticsearch进行索引，它将创建一个倒排索引，如下所示：

词典（terms）:

*      Term      Doc_1  Doc_2
        -------------------------
        Quick   |       |  X
        The     |   X   |
        brown   |   X   |  X
        dog     |   X   |
        dogs    |       |  X
        fox     |   X   |
        foxes   |       |  X
        in      |       |  X
        jumped  |   X   |
        lazy    |   X   |  X
        leap    |       |  X
        over    |   X   |  X
        quick   |   X   |
        summer  |       |  X
        the     |   X   |
        ------------------------

排序列表（postings list）:

Term      Doc_1  Doc_2
    -------------------------
    brown   |   X   |  X
    dog     |   X   |  X
    fox     |   X   |  X
    in      |       |  X
    jump    |   X   |  X
    lazy    |   X   |  X
    over    |   X   |  X
    quick   |   X   |  X
    summer  |       |  X
    the     |   X   |  X
    ------------------------

排序列表（倒排列表）通常包含以下信息：

*  文档ID：包含词的文档的唯一标识符。
 *  词频（TF）：文档中词出现的次数。
 *  位置（Position）：词在文档中的位置信息。
 *  偏移量（Offset）：词在文档中的开始和结束位置。

现在，如果我们想搜索 `quick brown` ，我们只需要查找包含每个词条的文档：

Term      Doc_1  Doc_2
    -------------------------
    brown   |   X   |  X
    quick   |   X   |
    ------------------------
    Total   |   2   |  1

两个文档都匹配，但是第一个文档比第二个匹配度更高。

这就是Elasticsearch倒排索引的基本概念。

## 分片与副本机制 ##

Elasticsearch 的分片和副本机制是确保集群高可用性和数据安全性的关键。

分片（Shard）:

分片是Elasticsearch在集群中分发数据的方式。将大量数据分散到多个分片中，可以提高搜索和其他操作的性能。

副本（Replica）:

副本是分片的副本，用于提供高可用性。当主分片（Leader）不可用时，副本分片（Follower）可以被提升为新的主分片。

创建索引时，可以定义分片数和副本数。例如，使用Elasticsearch的REST API创建一个有3个主分片和每个分片有一个副本的索引：

PUT /my_index
    {
      "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 1
      }
    }

![b093fd4249264042a57793df86ae2f48.png][]R0、R1、R2为P0、P1、P2的备份副本。

## **ElasticSearch各版本特性**  ##

### 5.x新特性  ###

*  Lucene 6.x， 性能提升，默认打分机制从TF-IDF改为BM 25 
 *  支持Ingest节点/ Painless Scripting / Completion suggested支持/原生的Java REST客户端Type标记成deprecated， 支持了Keyword的类型 
 *  性能优化

1.  内部引擎移除了避免同一文档并发更新的竞争锁，带来15% - 20%的性能提升 
2.  Instant aggregation,支持分片，上聚合的缓存 
3.  新增了Profile API

### 6.x新特性  ###

*  Lucene 7.x 
 *  新功能

1.  跨集群复制(CCR) 
2.  索引生命周期管理 
3.  SQL的支持

*  更友好的的升级及数据迁移

1.  在主要版本之间的迁移更为简化，体验升级 
2.  全新的基于操作的数据复制框架，可加快恢复数据

*  性能优化

1.  有效存储稀疏字段的新方法，降低了存储成本 
2.  在索引时进行排序，可加快排序的查询性能

### 7.x新特性  ###

*  Lucene 8.0 
 *  重大改进-正式废除单个索引下多Type的支持 
 *  7.1开始，Security 功能免费使用 
 *  ECK - Elasticseach Operator on Kubernetes 
 *  新功能

1.  New Cluster coordination 
2.  Feature——Complete High Level REST Client 
3.  Script Score Query

*  性能优化

1.  默认的Primary Shard数从5改为1,避免Over Sharding 
2.  性能优化， 更快的Top K

### 8.x新特性  ###

*  Rest API相比较7.x而言做了比较大的改动（比如彻底删除\_type） 
 *  默认开启安全配置 
 *  存储空间优化：对倒排文件使用新的编码集，对于keyword、match\_only\_text、 text类型字段有效，有3.5%的空间优化提升，对于新建索引和segment自动生效。 
 *  优化geo\_point，geo\_shape类型的索引（写入）效率：15%的提升。 
 *  技术预览版KNN API发布，（K邻近算法），跟推荐系统、自然语言排名相关。

https://www.elastic.co/guide/en/elasticstack/current/elasticsearchbreaking

changes.html

[b093fd4249264042a57793df86ae2f48.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/08/322fb1d7674a45f1944e0801b85d99a1.png