Springcloud elasticsearch基础介绍

亦凉 2024-05-23 18:58 22阅读 0赞

![168c1abc67f4402ebfc99ff077a3e4da.gif][]

> 哈喽~大家好，这篇来看看Springcloud elasticsearch基础介绍。
> 
> ?个人主页：[个人主页][Link 1]
> 
> ? 系列专栏： [【微服务】][Link 2]
> 
> ?与这篇相关的文章：
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td>SpringCloud Sentinel 使用</td> 
>    <td><a href="https://blog.csdn.net/aasd23/article/details/128032516?spm=1001.2014.3001.5501" title="SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sentinel" rel="nofollow">SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sentinel</a></td> 
>   </tr> 
>   <tr> 
>    <td>将Nacos注册到springboot使用以及Feign实现服务调用</td> 
>    <td><a href="https://blog.csdn.net/aasd23/article/details/127961919?spm=1001.2014.3001.5502" title="将Nacos注册到springboot使用以及Feign实现服务调用_程序猿追的博客-CSDN博客_nacos springboot 服务调用" rel="nofollow">将Nacos注册到springboot使用以及Feign实现服务调用_程序猿追的博客-CSDN博客_nacos springboot 服务调用</a></td> 
>   </tr> 
>   <tr> 
>    <td>微服务介绍与 SpringCloud Eureka</td> 
>    <td><a href="https://blog.csdn.net/aasd23/article/details/127913922?spm=1001.2014.3001.5502" title="微服务介绍与 SpringCloud Eureka_程序猿追的博客-CSDN博客" rel="nofollow">微服务介绍与 SpringCloud Eureka_程序猿追的博客-CSDN博客</a></td> 
>   </tr> 
>  </tbody> 
> </table>

**目录**

一、前言

1、介绍

2、作用

3、技术栈

二、索引

1、正向索引

2、倒排索引

3、优缺点

三、概念

1、文档和字段

2、索引和映射

3、mysql与elasticsearch

四、安装

1、创建网络

2、命令解释

五、kibana

1、部署

2、IK分词器

3、解析

4、停用词词典

--------------------

## 一、前言 ##

### 1、介绍 ###

> Elasticsearch（简称ES）是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

### 2、作用 ###

> elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容。

eg：在GitHub搜索代码，在电商网站搜索商品，在百度搜索答案，在打车软件搜索附近的车等

### 3、技术栈 ###

> elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域：
> 
> 而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。

![7d061f16a22e41aebe1e1ee45fd53c3f.png][]

> elasticsearch底层是基于**lucene**来实现的。
> 
> **Lucene**是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：[Apache Lucene - Welcome to Apache Lucene][] 。

## 二、索引 ##

### 1、正向索引 ###

那么什么是正向索引呢？例如给下表（tb\_goods）中的id创建索引：

![638c8b4649c744cfaa68d9b90a75620b.png][]

如果是根据id查询，那么直接走索引，查询速度非常快。

但如果是基于title做模糊查询，只能是逐行扫描数据，流程如下：

1）用户搜索数据，条件是title符合`"%手机%"`

2）逐行获取数据，比如id为1的数据

3）判断数据中的title是否符合用户搜索条件

4）如果符合则放入结果集，不符合则丢弃。回到步骤1

逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难。

### 2、倒排索引 ###

倒排索引中有两个非常重要的概念：

> **文档（`Document`）：**用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
> 
> **词条（`Term`）：**对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

**创建倒排索引**是对正向索引的一种特殊处理，流程如下：

将每一个文档的数据利用算法分词，得到一个个词条

创建表，每行数据包括词条、词条所在文档id、位置等信息

因为词条唯一性，可以给词条创建索引，例如hash表结构索引

如图：

![04c21f5ddcb941149452a38aa6c3e299.png][]

倒排索引的**搜索流程**如下（以搜索"华为手机"为例）：

1）用户输入条件`"华为手机"`进行搜索。

2）对用户输入内容**分词**，得到词条：`华为`、`手机`。

3）拿着词条在倒排索引中查找，可以得到包含词条的文档id：1、2、3。

4）拿着文档id到正向索引中查找具体文档。

如图：

![4409647f9d2942a59bcd9e372f5914e9.png][]

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

### 3、优缺点 ###

> **正向索引**
> 
> **优点：**可以给多个字段创建索引根据索引字段搜索、排序速度非常快
> 
> **缺点：**根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。
> 
>  **倒排索引**
> 
> **优点：**根据词条搜索、模糊搜索时，速度非常快
> 
> **缺点：**只能给词条创建索引，而不是字段 、无法根据字段做排序

## 三、概念 ##

### 1、文档和字段 ###

elasticsearch是面向**文档（Document）**存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

![2b92f69472a8453d86623cc2a3de8d87.png][]

而Json文档中往往包含很多的**字段（Field）**，类似于数据库中的列。

### 2、索引和映射 ###

**索引（Index）**，就是相同类型的文档的集合。

例如：

> 所有用户文档，就可以组织在一起，称为用户的索引；
> 
> 所有商品的文档，可以组织在一起，称为商品的索引；
> 
> 所有订单的文档，可以组织在一起，称为订单的索引；

![e5c8a25912484759a98fa7c42a5eaa54.png][]

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有**映射（mapping）**，是索引中文档的字段约束信息，类似表的结构约束。

### 3、mysql与elasticsearch ###

我们统一的把mysql与elasticsearch的概念做一下对比：

<table> 
 <thead> 
  <tr> 
   <th><strong>MySQL</strong></th> 
   <th><strong>Elasticsearch</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Table</td> 
   <td>Index</td> 
   <td>索引(index)，就是文档的集合，类似数据库的表(table)</td> 
  </tr> 
  <tr> 
   <td>Row</td> 
   <td>Document</td> 
   <td>文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式</td> 
  </tr> 
  <tr> 
   <td>Column</td> 
   <td>Field</td> 
   <td>字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）</td> 
  </tr> 
  <tr> 
   <td>Schema</td> 
   <td>Mapping</td> 
   <td>Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）</td> 
  </tr> 
  <tr> 
   <td>SQL</td> 
   <td>DSL</td> 
   <td>DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD</td> 
  </tr> 
 </tbody> 
</table>

是不是说，我们学习了elasticsearch就不再需要mysql了呢？

并不是如此，两者各自有自己的擅长支出：

> Mysql：擅长事务类型操作，可以确保数据的安全和一致性
> 
> Elasticsearch：擅长海量数据的搜索、分析、计算

因此在企业中，往往是两者结合使用：

> 对安全性要求较高的写操作，使用mysql实现
> 
> 对查询性能要求较高的搜索需求，使用elasticsearch实现
> 
> 两者再基于某种方式，实现数据的同步，保证一致性

![643d0346136b4998ba61a25aa32e0b45.png][]

## 四、安装 ##

### 1、创建网络 ###

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：

docker network create es-net

上传镜像的tar包并加载

docker load -i es.tar

运行docker命令，部署单点es：

docker run -d \
        --name es \
        -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
        -e "discovery.type=single-node" \
        -v es-data:/usr/share/elasticsearch/data \
        -v es-plugins:/usr/share/elasticsearch/plugins \
        --privileged \
        --network es-net \
        -p 9200:9200 \
        -p 9300:9300 \
    elasticsearch:7.12.1

### 2、命令解释 ###

> `-e "cluster.name=es-docker-cluster"`：设置集群名称
> 
> `-e "http.host=0.0.0.0"`：监听的地址，可以外网访问
> 
> `-e "ES_JAVA_OPTS=-Xms512m -Xmx512m"`：内存大小
> 
> `-e "discovery.type=single-node"`：非集群模式
> 
> `-v es-data:/usr/share/elasticsearch/data`：挂载逻辑卷，绑定es的数据目录
> 
> `-v es-logs:/usr/share/elasticsearch/logs`：挂载逻辑卷，绑定es的日志目录
> 
> `-v es-plugins:/usr/share/elasticsearch/plugins`：挂载逻辑卷，绑定es的插件目录
> 
> `--privileged`：授予逻辑卷访问权
> 
> `--network es-net` ：加入一个名为es-net的网络中
> 
> `-p 9200:9`

浏览器输入[http://192.168.71.133:9200/][http_192.168.71.133_9200]，有下图结果，表示成功

![e07a189ce0cd43b0b5c80dba7eae2090.png][]

## 五、kibana ##

kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习。

### 1、部署 ###

运行docker命令，部署kibana

docker run -d \
    --name kibana \
    -e ELASTICSEARCH_HOSTS=http://es:9200 \
    --network=es-net \
    -p 5601:5601  \
    kibana:7.12.1

> `--network es-net` ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
> 
> `-e ELASTICSEARCH_HOSTS=http://es:9200"`：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
> 
> `-p 5601:5601`：端口映射配置

浏览器输入[http://192.168.71.133:5601/][http_192.168.71.133_5601]，有下图结果，表示成功

![4cf027e9301348a29a91c30cc7d1f27e.png][]

### 2、IK分词器 ###

安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看:

docker volume inspect es-plugins

显示结果：

[
        {
            "CreatedAt": "XXXXXXXXXX",
            "Driver": "local",
            "Labels": null,
            "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
            "Name": "es-plugins",
            "Options": null,
            "Scope": "local"
        }
    ]

说明plugins目录被挂载到了：`/var/lib/docker/volumes/es-plugins/_data`这个目录中。

将下载好的ik上传到/var/lib/docker/volumes/es-plugins/\_data目录下

# 重启容器

docker restart es

测试一下

在 Dev Tools里面输入

POST /_analyze
    {
      "text": "阿萨德鸡你太美啊实打实多",
      "analyzer": "ik_max_word"
    }

右侧结果

{
      "tokens" : [
        {
          "token" : "阿",
          "start_offset" : 0,
          "end_offset" : 1,
          "type" : "CN_CHAR",
          "position" : 0
        },
        {
          "token" : "萨",
          "start_offset" : 1,
          "end_offset" : 2,
          "type" : "CN_CHAR",
          "position" : 1
        },
        {
          "token" : "德",
          "start_offset" : 2,
          "end_offset" : 3,
          "type" : "CN_CHAR",
          "position" : 2
        },
        {
          "token" : "鸡你太美",
          "start_offset" : 3,
          "end_offset" : 7,
          "type" : "CN_WORD",
          "position" : 3
        },
        {
          "token" : "太美",
          "start_offset" : 5,
          "end_offset" : 7,
          "type" : "CN_WORD",
          "position" : 4
        },
        {
          "token" : "实打实",
          "start_offset" : 8,
          "end_offset" : 11,
          "type" : "CN_WORD",
          "position" : 5
        },
        {
          "token" : "实多",
          "start_offset" : 10,
          "end_offset" : 12,
          "type" : "CN_WORD",
          "position" : 6
        }
      ]
    }

### 3、解析 ###

IK分词器（analyzer）包含两种模式：

> **`ik_smart`：最少切分**
> 
> **`ik_max_word`：最细切分**

**这里使用了扩展词词典**

**什么是扩展词词典？**

随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在。比如：“鸡你太美”，“篮球” 等。

所以我们的词汇也需要不断的更新，IK分词器提供了扩展词汇的功能。

1）打开IK分词器config目录：

![aee479ae50114039ad334d92fc9778aa.png][]

2）在IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
            <entry key="ext_dict">ext.dic</entry>
    </properties>

3）新建一个 ext.dic，可以参考config目录下复制一个配置文件进行修改

鸡你太美

4）重启elasticsearch

docker restart es

5）测试效果：

POST /_analyze
    {
      "text": "阿萨德鸡你太美啊实打实多",
      "analyzer": "ik_max_word"
    }

> 注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

### 4、停用词词典 ###

在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的。

IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。

1）IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
            <entry key="ext_dict">ext.dic</entry>
             
            <entry key="ext_stopwords">stopword.dic</entry>
    </properties>

3）在 stopword.dic 添加停用词

nmd

4）重启elasticsearch

# 重启服务
    docker restart elasticsearch
    docker restart kibana

日志中已经成功加载stopword.dic配置文件

5）测试效果：

POST /_analyze
    {
      "text": "阿萨德鸡你太美啊实打实多nmd",
      "analyzer": "ik_max_word"
    }

> **不积跬步无以至千里，趁年轻，使劲拼，给未来的自己一个交代！向着明天更好的自己前进吧！**
> 
> ![d5358fcd619443fe98143f2fd5fef762.gif][]

[168c1abc67f4402ebfc99ff077a3e4da.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/046d5fe46abb4f83ac93b1a839fa149a.gif
[Link 1]: https://blog.csdn.net/aasd23?spm=1000.2115.3001.5343
[Link 2]: https://blog.csdn.net/aasd23/category_11867778.html?spm=1001.2014.3001.5482
[7d061f16a22e41aebe1e1ee45fd53c3f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/542445a6dc184f54ad9542f0170ce107.png
[Apache Lucene - Welcome to Apache Lucene]: https://lucene.apache.org/
[638c8b4649c744cfaa68d9b90a75620b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/8624459e29e64d46b896468560e90f54.png
[04c21f5ddcb941149452a38aa6c3e299.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/866c538b0da34ab78bd5b3637f45ea37.png
[4409647f9d2942a59bcd9e372f5914e9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/08467fb85ff64c5d88f95897307ced75.png
[2b92f69472a8453d86623cc2a3de8d87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/2f4da529380841d1b600d6484eccc6a6.png
[e5c8a25912484759a98fa7c42a5eaa54.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/deacc24d728446a49c23cc5580e7b874.png
[643d0346136b4998ba61a25aa32e0b45.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/8612593e11c04f238c92b4380f94b4c5.png
[http_192.168.71.133_9200]: http://192.168.71.133:9200/
[e07a189ce0cd43b0b5c80dba7eae2090.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/41bb166331c647d5bbfb142f4b577f88.png
[http_192.168.71.133_5601]: http://192.168.71.133:5601/
[4cf027e9301348a29a91c30cc7d1f27e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/dc1dc637765c424c88bf2a18f6bd5b4c.png
[aee479ae50114039ad334d92fc9778aa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/9f9f759873b743269fe93f642073b603.png
[d5358fcd619443fe98143f2fd5fef762.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/23/8d6b0f93426d402289183897759f0827.gif