微服务初始分布式搜索引擎 Elastic Search

水深无声 2024-05-01 04:41 9阅读 0赞

#### 文章目录 ####

*  ⛄引言
 *  一、什么是Elastic Search？
 *  二、Elastic Search 倒排索引
 *   *  ⛅正向索引
     *  ⚡倒排索引
     *  ⛄正向和倒排
 *  三、ES的一些概念
 *   *  ⛅文档和字段
     *  ⚡索引和映射
 *  四、MySQL 与 Elasticsearch
 *  ⛵小结

## ⛄引言 ##

**本文参考黑马 分布式Elastic search**  
Elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容

## 一、什么是Elastic Search？ ##

Elasticsearch 是一个**分布式、RESTful 风格的搜索和数据分析引擎**，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。

[ElasticSearch 官网][ElasticSearch]

![在这里插入图片描述][f2eef82ac4a84200bfa83b0dc5671dd5.png_pic_center]

elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容

> **ES的作用**

例如：百度搜索问题、京东、淘宝搜索商品。

> **ELK 技术栈**

Elasticsearch 结合 kibana、Logstash、Beats，也就是elastic stack（**ELK**）。被**广泛应用在日志数据分析、实时监控等领域：**

**Elasticsearch 是 elastic stack的核心，负责存储、搜索、分析数据。**

![在这里插入图片描述][90c895fe4ced4be5be2b8414c5f98788.png_pic_center]

> **ElasticSearch 和 Lucene**

elasticsearch底层是基于**lucene**来实现的。

**Lucene**是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https://lucene.apache.org/ 。

![在这里插入图片描述][4278db2fa2ed42f8a950f8b7b2160ae4.png_pic_center]

**elasticsearch**的发展历史：

*  2004年Shay Banon基于Lucene开发了Compass
 *  2010年Shay Banon 重写了Compass，取名为Elasticsearch。

相比Lucene，ElasticSearch具备以下优势

*  支持分布式，可水平扩展
 *  提供ResultFul 接口，可被任何语言调用

> **为什么不是其它搜索技术？**

截至到2023年，知名的搜索引擎如下：

![在这里插入图片描述][4c8c917925b84fbeaa04dad271dddb19.png_pic_center]

虽然在早期，Apache Solr是最主要的搜索引擎技术，但随着发展elasticsearch已经渐渐超越了Solr，独占鳌头：

![在这里插入图片描述][d306794620664fa3b1013cb63eabcef7.png_pic_center]

**ElasticSearch 分布式搜索引擎 全球领先 开源框架 第一！**

## 二、Elastic Search 倒排索引 ##

### ⛅正向索引 ###

什么是正向索引呢？例如给出表 （tb\_goods 商品表）中的id创建索引：

![在这里插入图片描述][0a949c221e934f2a8c2a03a839477a7f.png_pic_center]

如果是根据id查询，那么直接走索引，查询速度非常快。

但如果是基于title做模糊查询，只能是逐行扫描数据，流程如下：

*  用户搜索数据，条件是title符合`"%手机%"`
 *  逐行获取数据，比如id为1的数据
 *  判断数据中的title是否符合用户搜索条件
 *  如果符合则放入结果集，不符合则丢弃。回到步骤1

逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万甚至千万时，就是一场灾难。

### ⚡倒排索引 ###

倒排索引的概念是基于MySQL这样的正向索引而言的。

倒排索引中有两个非常重要的概念：

*  文档（`Document`）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
 *  词条（`Term`）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

**创建倒排索引**是对正向索引的一种特殊处理，流程如下：

*  将每一个文档的数据利用算法分词，得到一个个词条
 *  创建表，每行数据包括词条、词条所在文档id、位置等信息
 *  因为词条唯一性，可以给词条创建索引，例如hash表结构索引

![在这里插入图片描述][3f19a3c971b44a0f9b4e5289a6350aa3.png_pic_center]

倒排索引的**搜索流程**如下（以搜索"华为手机"为例）：

1）用户输入条件`"华为手机"`进行搜索。

2）对用户输入内容**分词**，得到词条：`华为`、`手机`。

3）拿着词条在倒排索引中查找，可以得到包含词条的文档id：1、2、3。

4）拿着文档id到正向索引中查找具体文档。

![在这里插入图片描述][6994960b58434c6b87cee519e59915dd.png_pic_center]

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

### ⛄正向和倒排 ###

那么为什么一个叫做正向索引，一个叫做倒排索引呢？

*  **正向索引**是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是**根据文档找词条的过程**。
 *  而**倒排索引**则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是**根据词条找文档的过程**。

是不是恰好反过来了？

那么两者方式的优缺点是什么呢？

**正向索引**：

*  优点：
    
     *  可以给多个字段创建索引
     *  根据索引字段搜索、排序速度非常快
 *  缺点：
    
     *  根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

**倒排索引**：

*  优点：
    
     *  根据词条搜索、模糊搜索时，速度非常快
 *  缺点：
    
     *  只能给词条创建索引，而不是字段
     *  无法根据字段做排序

## 三、ES的一些概念 ##

elasticsearch中有很多独有的概念，与mysql中略有差别，但也有相似之处。

### ⛅文档和字段 ###

elasticsearch是面向**文档（Document）** 存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

![在这里插入图片描述][bced1f75177145c4932240ddf7ea7e54.png_pic_center]

而Json文档中往往包含很多的**字段（Field）**，类似于数据库中的列。

### ⚡索引和映射 ###

**索引（Index）**，就是相同类型的文档的集合。

例如：

*  所有用户文档，就可以组织在一起，称为用户的索引；
 *  所有商品的文档，可以组织在一起，称为商品的索引；
 *  所有订单的文档，可以组织在一起，称为订单的索引；

![在这里插入图片描述][60d268448edf44a58200fe7917afa380.png_pic_center]

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有**映射（mapping）**，是索引中文档的字段约束信息，类似表的结构约束。

## 四、MySQL 与 Elasticsearch ##

我们统一的把 MySQL 与 Elasticsearch 的概念做一下对比：

<table> 
 <thead> 
  <tr> 
   <th><strong>MySQL</strong></th> 
   <th><strong>Elasticsearch</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Table</td> 
   <td>Index</td> 
   <td>索引(index)，就是文档的集合，类似数据库的表(table)</td> 
  </tr> 
  <tr> 
   <td>Row</td> 
   <td>Document</td> 
   <td>文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式</td> 
  </tr> 
  <tr> 
   <td>Column</td> 
   <td>Field</td> 
   <td>字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）</td> 
  </tr> 
  <tr> 
   <td>Schema</td> 
   <td>Mapping</td> 
   <td>Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）</td> 
  </tr> 
  <tr> 
   <td>SQL</td> 
   <td>DSL</td> 
   <td>DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD</td> 
  </tr> 
 </tbody> 
</table>

是不是说，我们学习了elasticsearch就不再需要mysql了呢？

并不是如此，两者各自有自己的擅长支出：

*  Mysql：**擅长事务类型操作，可以确保数据的安全和一致性**
 *  Elasticsearch：**擅长海量数据的搜索、分析、计算**

因此在企业中，往往是两者结合使用：

*  对安全性要求较高的写操作，使用mysql实现
 *  对查询性能要求较高的搜索需求，使用elasticsearch实现
 *  两者再基于某种方式，实现数据的同步，保证一致性

![在这里插入图片描述][27b8c13109484fe199cfb0e3e3c517a9.png_pic_center]

## ⛵小结 ##

以上就是【**Bug 终结者**】对 **微服务Spring Boot 整合 Redis 实现 UV 数据统计** 的简单介绍，**UV数据统计功能是很常用的，在项目中，是一个不错的亮点，统计功能也是各大系统中比较重要的功能，签到完成后，去统计本月的连续 签到记录，来给予奖励，可大大增加用户对系统的活跃度，HyperLogLog可以与BitMap相结合，从而能够能高效的对网站进行深层次的分析！** **`技术改变世界！！！`**

> 如果这篇【文章】有帮助到你，希望可以给【**Bug 终结者**】点个赞👍，创作不易，如果有对【**后端技术**】、【**前端领域**】感兴趣的小可爱，也欢迎关注❤️❤️❤️ 【**Bug 终结者**】❤️❤️❤️，我将会给你带来巨大的【收获与惊喜】💝💝💝！

[ElasticSearch]: https://www.elastic.co/cn/elasticsearch/
[f2eef82ac4a84200bfa83b0dc5671dd5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/ace3ccf56dd14b2ba7c04f51aefbc06e.png
[90c895fe4ced4be5be2b8414c5f98788.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/4e7d01276f404c0c85ae002d5a9c8965.png
[4278db2fa2ed42f8a950f8b7b2160ae4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/2fc16b31b4f54676ae0e966bf257d73c.png
[4c8c917925b84fbeaa04dad271dddb19.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/1fa92f919f554ae8bad5147d193b5e5c.png
[d306794620664fa3b1013cb63eabcef7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/2b4ba04c4d014f1f8b79914b9bb65ac0.png
[0a949c221e934f2a8c2a03a839477a7f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/382135978a67453a86625beddd824614.png
[3f19a3c971b44a0f9b4e5289a6350aa3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/b397e82b5aff4c99b1988b62ae03f8eb.png
[6994960b58434c6b87cee519e59915dd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/29f024df00b641578a99454886846ab2.png
[bced1f75177145c4932240ddf7ea7e54.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/e7ad2f4221fe4e8081c6cf58f9276fe9.png
[60d268448edf44a58200fe7917afa380.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/bd8485d0ab4c4db791c169b460ccecb1.png
[27b8c13109484fe199cfb0e3e3c517a9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/11be8b18b0ed45fe8adeb1281dfb4f96.png