ElasticSearch 中的中文分词器以及索引基本操作详解

小咪咪 2022-12-24 00:52 77阅读 0赞

### 文章目录 ###

*   *  1.ElasticSearch 分词器介绍
     *   *  1.1 内置分词器
         *  1.2 中文分词器
         *   *  1.2.1 安装
             *  1.2.2 测试
             *  1.2.3 自定义扩展词库
             *   *  1.2.3.1 本地自定义
                 *  1.2.3.2 远程词库
     *  2. ElasticSearch 索引管理
     *   *  2.1 新建索引
         *   *  2.1.1 通过 head 插件新建索引
             *  2.1.2 通过请求创建
         *  2.2 更新索引
         *  2.3 修改索引的读写权限
         *  2.4 查看索引
         *  2.5 删除索引
         *  5.6 索引打开/关闭
         *  2.7 复制索引
         *  2.8 索引别名

本文是松哥所录视频教程的一个笔记，笔记简明扼要，完整内容小伙伴们可以参考视频，视频下载链接：https://pan.baidu.com/s/1NHoe0\_52ut9fDUh0A6UQLA 提取码: kzv7

![50dd32eceffcaf52cd1a8f953f36f41b.png][]

## 1.ElasticSearch 分词器介绍 ##

### 1.1 内置分词器 ###

ElasticSearch 核心功能就是数据检索，首先通过索引将文档写入 es。查询分析则主要分为两个步骤：

1.  词条化：**分词器**将输入的文本转为一个一个的词条流。
2.  过滤：比如停用词过滤器会从词条中去除不相干的词条（的，嗯，啊，呢）；另外还有同义词过滤器、小写过滤器等。

ElasticSearch 中内置了多种分词器可以供使用。

内置分词器：

<table> 
 <thead> 
  <tr> 
   <th>分词器</th> 
   <th>作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Standard Analyzer</td> 
   <td>标准分词器，适用于英语等。</td> 
  </tr> 
  <tr> 
   <td>Simple Analyzer</td> 
   <td>简单分词器，基于非字母字符进行分词，单词会被转为小写字母。</td> 
  </tr> 
  <tr> 
   <td>Whitespace Analyzer</td> 
   <td>空格分词器。按照空格进行切分。</td> 
  </tr> 
  <tr> 
   <td>Stop Analyzer</td> 
   <td>类似于简单分词器，但是增加了停用词的功能。</td> 
  </tr> 
  <tr> 
   <td>Keyword Analyzer</td> 
   <td>关键词分词器，输入文本等于输出文本。</td> 
  </tr> 
  <tr> 
   <td>Pattern Analyzer</td> 
   <td>利用正则表达式对文本进行切分，支持停用词。</td> 
  </tr> 
  <tr> 
   <td>Language Analyzer</td> 
   <td>针对特定语言的分词器。</td> 
  </tr> 
  <tr> 
   <td>Fingerprint Analyzer</td> 
   <td>指纹分析仪分词器，通过创建标记进行重复检测。</td> 
  </tr> 
 </tbody> 
</table>

### 1.2 中文分词器 ###

在 Es 中，使用较多的中文分词器是 elasticsearch-analysis-ik，这个是 es 的一个第三方插件，代码托管在 GitHub 上：

*  https://github.com/medcl/elasticsearch-analysis-ik

#### 1.2.1 安装 ####

两种使用方式：

**第一种：**

1.  首先打开分词器官网：https://github.com/medcl/elasticsearch-analysis-ik。
2.  在 https://github.com/medcl/elasticsearch-analysis-ik/releases 页面找到最新的正式版，下载下来。我们这里的下载链接是 https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.9.3/elasticsearch-analysis-ik-7.9.3.zip。
3.  将下载文件解压。
4.  在 es/plugins 目录下，新建 ik 目录，并将解压后的所有文件拷贝到 ik 目录下。
5.  重启 es 服务。

**第二种：**

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.9.3/elasticsearch-analysis-ik-7.9.3.zip

#### 1.2.2 测试 ####

es 重启成功后，首先创建一个名为 test 的索引：

![42e5818324cf8932c439f44f120ca865.png][]

接下来，在该索引中进行分词测试：

![2f966031586118cc2d5c990cb325b262.png][]

#### 1.2.3 自定义扩展词库 ####

##### 1.2.3.1 本地自定义 #####

在 es/plugins/ik/config 目录下，新建 ext.dic 文件（文件名任意），在该文件中可以配置自定义的词库。

![b356944d0628a11006ec0d808cdc71b3.png][]

如果有多个词，换行写入新词即可。

然后在 es/plugins/ik/config/IKAnalyzer.cfg.xml 中配置扩展词典的位置：

![e795e3751b25f29a8ac5aa93c8f63ebc.png][]

##### 1.2.3.2 远程词库 #####

也可以配置远程词库，远程词库支持热更新（不用重启 es 就可以生效）。

热更新只需要提供一个接口，接口返回扩展词即可。

具体使用方式如下，新建一个 Spring Boot 项目，引入 Web 依赖即可。然后在 resources/stastic 目录下新建 ext.dic 文件，写入扩展词：

![a60f7595c20a9f44a32ece5022594bc6.png][]

接下来，在 es/plugins/ik/config/IKAnalyzer.cfg.xml 文件中配置远程扩展词接口：

![bae91800626baf2500c056745fb11489.png][]

配置完成后，重启 es ，即可生效。

热更新，主要是响应头的 `Last-Modified` 或者 `ETag` 字段发生变化，ik 就会自动重新加载远程扩展辞典。

视频笔记，在公众号**江南一点雨**后台回复 **elasticsearch04** 获取下载链接。

## 2. ElasticSearch 索引管理 ##

微信公众号**江南一点雨**后台回复 **elasticsearch05** 下载本笔记。

启动一个 master 节点和两个 slave 节点进行测试（参考第二集的视频搭建）。

### 2.1 新建索引 ###

#### 2.1.1 通过 head 插件新建索引 ####

在 head 插件中，选择 索引选项卡，然后点击新建索引。新建索引时，需要填入索引名称、分片数以及副本数。

![2a6d10a6f11136d06bc09d206a3a13dc.png][]

索引创建成功后，如下图：

![e478bba348c43fbbd45070ca03148ef6.png][]

0、1、2、3、4 分别表示索引的分片，粗框表示主分片，细框表示副本（点一下框，通过 primary 属性可以查看是主分片还是副本）。.kibana 索引只有一个分片和一个副本，所以只有 0。

#### 2.1.2 通过请求创建 ####

可以通过 postman 发送请求，也可以通过 kibana 发送请求，由于 kibana 有提示，所以这里采用 kibana。

创建索引请求：

PUT book

创建成功后，可以查看索引信息：

![93a92e440d38d0e2630cd9e37f7ae3da.png][]

需要注意两点：

*  索引名称不能有大写字母

![b13b3c062ba26a0f67916af13d322bc3.png][]

*  索引名是唯一的，不能重复，重复创建会出错

![fcffbbc40d3c48a96ff31da8c316fdb8.png][]

### 2.2 更新索引 ###

索引创建好之后，可以修改其属性。

例如修改索引的副本数：

PUT book/_settings
    {
      "number_of_replicas": 2
    }

修改成功后，如下：

![4a48f948cb3350922b0ab901e0221ad9.png][]

更新分片数也是一样。

### 2.3 修改索引的读写权限 ###

索引创建成功后，可以向索引中写入文档：

PUT book/_doc/1
    {
      "title":"三国演义"
    }

写入成功后，可以在 head 插件中查看：

![f1cb486a748016cdbab83ed4b731712d.png][]

默认情况下，索引是具备读写权限的，当然这个读写权限可以关闭。

例如，关闭索引的写权限：

PUT book/_settings
    {
      "blocks.write": true
    }

关闭之后，就无法添加文档了。关闭了写权限之后，如果想要再次打开，方式如下：

PUT book/_settings
    {
      "blocks.write": false
    }

其他类似的权限有：

*  blocks.write
 *  blocks.read
 *  blocks.read\_only

### 2.4 查看索引 ###

head 插件查看方式如下：

![3ed0050005e1b2c84860479a3aa6189b.png][]

请求查看方式如下：

GET book/_settings

也可以同时查看多个索引信息：

GET book,test/_settings

也可以查看所有索引信息：

GET _all/_settings

### 2.5 删除索引 ###

head 插件可以删除索引：

![d0bc2ecfd476af74d2f72bf0f9e142a2.png][]

请求删除如下：

DELETE test

删除一个不存在的索引会报错。

### 5.6 索引打开/关闭 ###

关闭索引：

POST book/_close

打开索引：

POST book/_open

当然，可以同时关闭/打开多个索引，多个索引用 , 隔开，或者直接使用 \_all 代表所有索引。

### 2.7 复制索引 ###

索引复制，只会复制数据，不会复制索引配置。

POST _reindex
    {
      "source": {"index":"book"},
      "dest": {"index":"book_new"}
    }

复制的时候，可以添加查询条件。

### 2.8 索引别名 ###

可以为索引创建别名，如果这个别名是唯一的，该别名可以代替索引名称。

POST /_aliases
    {
      "actions": [
        {
          "add": {
            "index": "book",
            "alias": "book_alias"
          }
        }
      ]
    }

添加结果如下：

![b0acf82f85529e85243c248ac68d0bc1.png][]

将 add 改为 remove 就表示移除别名：

POST /_aliases
    {
      "actions": [
        {
          "remove": {
            "index": "book",
            "alias": "book_alias"
          }
        }
      ]
    }

查看某一个索引的别名：

GET /book/_alias

查看某一个别名对应的索引（book\_alias 表示一个别名）：

GET /book_alias/_alias

可以查看集群上所有可用别名：

GET /_alias

最后，松哥还搜集了 50+ 个项目需求文档，想做个项目练练手的小伙伴不妨看看哦～

![e219fd4cd10e143d33b27336e29bed0a.png][]  
![b8fc793dbdc8fda1f3954b002764502f.png][]  
![d59d5cc147ae46000f08cb1ffdda204e.png][]

需求文档地址：[https://github.com/lenve/javadoc][https_github.com_lenve_javadoc]

[50dd32eceffcaf52cd1a8f953f36f41b.png]: /images/20221120/dc479f4313d1400ebdcd061796881c95.png
[42e5818324cf8932c439f44f120ca865.png]: /images/20221120/560ea2ebb9214f238513511efa6fa0e7.png
[2f966031586118cc2d5c990cb325b262.png]: https://img-blog.csdnimg.cn/img_convert/2f966031586118cc2d5c990cb325b262.png
[b356944d0628a11006ec0d808cdc71b3.png]: https://img-blog.csdnimg.cn/img_convert/b356944d0628a11006ec0d808cdc71b3.png
[e795e3751b25f29a8ac5aa93c8f63ebc.png]: https://img-blog.csdnimg.cn/img_convert/e795e3751b25f29a8ac5aa93c8f63ebc.png
[a60f7595c20a9f44a32ece5022594bc6.png]: https://img-blog.csdnimg.cn/img_convert/a60f7595c20a9f44a32ece5022594bc6.png
[bae91800626baf2500c056745fb11489.png]: https://img-blog.csdnimg.cn/img_convert/bae91800626baf2500c056745fb11489.png
[2a6d10a6f11136d06bc09d206a3a13dc.png]: https://img-blog.csdnimg.cn/img_convert/2a6d10a6f11136d06bc09d206a3a13dc.png
[e478bba348c43fbbd45070ca03148ef6.png]: https://img-blog.csdnimg.cn/img_convert/e478bba348c43fbbd45070ca03148ef6.png
[93a92e440d38d0e2630cd9e37f7ae3da.png]: https://img-blog.csdnimg.cn/img_convert/93a92e440d38d0e2630cd9e37f7ae3da.png
[b13b3c062ba26a0f67916af13d322bc3.png]: https://img-blog.csdnimg.cn/img_convert/b13b3c062ba26a0f67916af13d322bc3.png
[fcffbbc40d3c48a96ff31da8c316fdb8.png]: https://img-blog.csdnimg.cn/img_convert/fcffbbc40d3c48a96ff31da8c316fdb8.png
[4a48f948cb3350922b0ab901e0221ad9.png]: https://img-blog.csdnimg.cn/img_convert/4a48f948cb3350922b0ab901e0221ad9.png
[f1cb486a748016cdbab83ed4b731712d.png]: https://img-blog.csdnimg.cn/img_convert/f1cb486a748016cdbab83ed4b731712d.png
[3ed0050005e1b2c84860479a3aa6189b.png]: https://img-blog.csdnimg.cn/img_convert/3ed0050005e1b2c84860479a3aa6189b.png
[d0bc2ecfd476af74d2f72bf0f9e142a2.png]: https://img-blog.csdnimg.cn/img_convert/d0bc2ecfd476af74d2f72bf0f9e142a2.png
[b0acf82f85529e85243c248ac68d0bc1.png]: https://img-blog.csdnimg.cn/img_convert/b0acf82f85529e85243c248ac68d0bc1.png
[e219fd4cd10e143d33b27336e29bed0a.png]: https://img-blog.csdnimg.cn/img_convert/e219fd4cd10e143d33b27336e29bed0a.png
[b8fc793dbdc8fda1f3954b002764502f.png]: https://img-blog.csdnimg.cn/img_convert/b8fc793dbdc8fda1f3954b002764502f.png
[d59d5cc147ae46000f08cb1ffdda204e.png]: https://img-blog.csdnimg.cn/img_convert/d59d5cc147ae46000f08cb1ffdda204e.png
[https_github.com_lenve_javadoc]: https://github.com/lenve/javadoc