初识ElasticSearch

今天药忘吃喽~ 2024-04-03 09:03 83阅读 0赞

### 1.什么是ElasticSearch(以下简称ES) ###

[Elasticsearch 是什么？ | Elastic![icon-default.png_t_M85B][]https://www.elastic.co/cn/what-is/elasticsearch][Elasticsearch _ _ Elastic_icon-default.png_t_M85B_https_www.elastic.co_cn_what-is_elasticsearch]

简单来说，我们的目标是帮助每个人更快地找到所需内容，从需要通过内网获取文档的员工，到在网上购物寻找适合自己鞋子的客户。但从更技术的角度来说，大致描述如下：

Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名，是 Elastic Stack 的核心组件；Elastic Stack 是一套适用于数据采集、扩充、存储、分析和可视化的免费开源工具。人们通常将 Elastic Stack 称为 ELK Stack（代指 Elasticsearch、Logstash 和 Kibana），目前 Elastic Stack 包括一系列丰富的轻量型数据采集代理，这些代理统称为 Beats，可用来向 Elasticsearch 发送数据。

好吧，上面说的其实还不够简单，总的来说，首先ES是一款搜索引擎，其次它还可以存储数据。就是这么简单。

#### 1.1ES和关系型数据库对照 ####

![95de0933f50e69d2125ea5bbe084c17f.jpeg][]

### 2.特点 ###

既然当下大多数企业都选用ES作为搜索引擎，那么它必然是有很多优点的。我们来看一看ES拥有什么其他中间件或者数据库所没有的特点。通过对官网介绍的解读：Elasticsearch is a real-time, distributed storage, search, and analytics engine 我们不难发现以下四个特点

*  分布式
 *  实时
 *  搜索
 *  分析

#### 2.1分布式 ####

一个Elasticsearch集群会有多个Elasticsearch节点，所谓节点实际上就是运行着Elasticsearch的进程。

在这些节点中会有一个Master Node作为主节点，它主要负责维护索引元数据、负责切换主分片和副本分片，如果主节点挂了，会选举出一个新的主节点。从上面对照表我们也已经得知，Elasticsearch最外层的是Index（相当于数据库 表的概念）；一个Index的数据我们可以分发到不同的Node上进行存储，这个操作就叫做**分片**。

比如现在我集群里边有3个节点，我现在有一个Index，想将这个Index在3个节点上存储，那我们可以设置为3个分片。这3个分片的数据**合起来**就是Index的完整数据。从这个角度来讲，ES分布存储的特点就很清晰了。

分片带来的好处，其实和我们熟知的服务器分布式集群带来的好处近乎相同。

1.分摊存储数据的任务，每个节点存一部分不会导致一个节点存太多而瘫痪。  
2.多个分片，读写可以并发执行，吞吐量高，效率高。  
2.每个分片都有一个副本分片，存储在不同的节点。数据写入的时候是写到**主分片**，副本分片会复制主分片的数据，读取的时候**主分片和副本分片都可以读**，如果某个节点挂了，主节点MasterNode就会把对应的副本分片提拔为主分片，这样即便节点挂了，数据也不会丢失。实现了高可用。

![3a150dd986094c0296b614475e1ec92f.png][]

#### 2.2实时 ####

如果我们严谨一点的讲，ES是近乎实时的。我们先来梳理一下ES数据写入的过程。

![19d215e8de27449fba69d8ea1b01e968.png][]

客户端写入一条数据，到Elasticsearch集群里边就是由**节点**来处理这次请求，每个节点都可以称之为协调节点，协调节点作为**es节点中的一个节点**，默认情况下es集群中所有的节点都能当协调节点，主要作用于请求转发，请求响应处理等轻量级操作。比如**节点1**接收到了请求，但发现这个请求的数据应该是由**节点2**处理（因为主分片在**节点2**上，注意这里是写操作），所以会把请求转发到**节点2**上。 协调节点会通过hash算法来计算对应的数据在哪个主分片，然后路由到对应的节点。当对应节点收到这条数据之后，会通过以下几步来完成写操作：

1.将数据写到内存缓存区  
2.然后将数据写到translog缓存区  
3.每隔1s数据从buffer中refresh到FileSystemCache中，生成segment文件，一旦生成segment文件，就能通过索引查询到了，一个index就是由若干个segment组成的  
4.refresh完，memory buffer就清空了。  
5.每隔5s中，translog 从buffer flush到磁盘中  
6.定期/定量从FileSystemCache中,结合translog内容**`flush index`**到磁盘中。

#### 2.3搜索 ####

ES的搜索速度之所以快，是因为其倒排索引的结构。这一结构的设计可以允许十分快速地进行全文本搜索。倒排索引会列出在所有文档中出现的每个特有词汇，并且可以找到包含每个词汇的全部文档。倒排索引的底层实现是基于：FST（Finite State Transducer）数据结构。lucene从4+版本后开始大量使用的数据结构是FST。FST有两个优点：

1、 空间占用小。通过对词典中单词前缀和后缀的重复利用，压缩了存储空间；

2、 查询速度快。O(len(str))的查询时间复杂度。

#### 2.4分析 ####

聚合分析数据

[icon-default.png_t_M85B]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b86113aca7cd44549847c748620a0584.png
[Elasticsearch _ _ Elastic_icon-default.png_t_M85B_https_www.elastic.co_cn_what-is_elasticsearch]: https://www.elastic.co/cn/what-is/elasticsearch
[95de0933f50e69d2125ea5bbe084c17f.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/ef8461e97bd848cf98f668af4e488a4f.jpeg
[3a150dd986094c0296b614475e1ec92f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/592bbdea7dc9498aa9ea7acc2e33818e.png
[19d215e8de27449fba69d8ea1b01e968.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6977d645886340eab92db1c139fca2d5.png