ElasticSearch学习笔记

水深无声 2021-07-20 14:10 472阅读 0赞

## 基本概念 ##

一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。

Elasticsearch和MongoDB/Redis/Memcache一样，是非关系型数据库。是一个接近实时的搜索平台，从索引这个文档到这个文档能够被搜索到只有一个轻微的延迟，企业应用定位：采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具。底层基于Lucene，采用多shard的方式保证数据安全，并且提供自动resharding的功能，github等大型的站点也采用Elasticsearch作为其搜索服务。

ES是java开发的，需要安装java运行环境jdk或者jre。

ES与MySQL各概念对应关系：

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> ES </td> 
 <td style="vertical-align:top;"> MySQL </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 索引 </td> 
 <td style="vertical-align:top;"> 数据库 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 类型 </td> 
 <td style="vertical-align:top;"> 表 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 文档 </td> 
 <td style="vertical-align:top;"> 记录 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 域 </td> 
 <td style="vertical-align:top;"> 列 </td> 
 </tr> 
 </tbody> 
</table>

索引(Index)

ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。

类型(Type)

类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于“表”。

文档(Document)

文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，基于JSON格式进行表示。文档由一个或多个域(Field)组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。

域(field)

文档由多个域组成，不同的文档里面同名的域一定具有相同的数据类型。文档里面域可以重复出现，也就是一个field会有多个值，即multivalued。

映射(Mapping)

存储域field的相关映射信息，不同type会有不同的mapping。

ES中，所有的文档在存储之前都要首先进行分析。用户可根据需要定义如何将文本分割成语汇单元(token)、哪些token应该被过滤掉，以及哪些文本需要进行额外处理等等。另外，ES还提供了额外功能，例如将域中的内容按需排序。事实上，ES也能自动根据其值确定域的类型。

大致可以认为Index就是一个db，document type就是一个table，document就是一行数据，field就是table的column，mapping就是table的定义。

### 整体架构 ###

在服务层面，主要有：

Node: 一个server实例。

Cluster：多个node组成cluster。

Shard：数据分片，一个index可能会存在于多个shards，不同shards可能在不同nodes。

Shard有两种类型：primary和replica，即主shard及副本shard。Primary shard用于文档存储，每个新的索引会自动创建5个Primary shard，当然此数量可在索引创建之前通过配置自行定义，不过，一旦创建完成，其Primary shard的数量将不可更改。Replica shard是Primary Shard的副本，用于冗余数据及提高搜索性能。每个Primary shard默认配置了一个Replica shard，但也可以配置多个，且其数量可动态更改。ES会根据需要自动增加或减少这些Replica shard的数量。

Replica：shard的备份，有一个primary shard，其余的叫做replica shards。

ES可自动在节点间按需要移动shard，例如增加节点或节点故障时。简而言之，分片实现了集群的分布式存储，而副本实现了其分布式处理及冗余功能。

Elasticsearch之所以能动态resharding，主要在于它最开始就预先分配了多个shards（貌似是1024），然后以shard为单位进行数据迁移。这个做法其实在分布式领域非常的普遍，codis就是使用了1024个slot来进行数据迁移。

因为任意一个index都可配置多个replica，通过冗余备份的方式保证了数据的安全性，同时replica也能分担读压力，类似于MySQL中的slave。

### 访问方式 ###

Elasticsearch提供了Restful API，使用json格式，这使得它非常利于与外部交互，虽然Elasticsearch的客户端很多，但笔者仍然很容易的就写出了一个简易客户端用于项目中，再次印证了Elasticsearch的使用真心很容易。

ElasticSearch的RESTful API通过tcp协议的9200端口提供，可通过任何趁手的客户端工具与此接口进行交互，这其中包括最为流行的curl。

Restful的接口很简单，一个url表示一个特定的资源，譬如/blog/article/1，就表示一个index为blog，type为aritcle，id为1的document。

而我们使用http标准method来操作这些资源，POST新增，PUT更新，GET获取，DELETE删除，HEAD判断是否存在。

### 倒排索引 ###

在全文搜索里，文档数据离不开搜索，而搜索离不开索引（没有索引搜索会很低效），倒排索引（Inverted index）是全文搜索系统里最高效的索引方法和数据结构，ES的索引就是倒排索引。也称反向索引/置入索引或反向档案，用以存储一个映射：在全文搜索下某个单词在一个文档或者一组文档中的位置。