谷粒商城高级篇 (三) --------- ElasticSearch 分词

「爱情、让人受尽委屈。」 2024-04-05 05:48 67阅读 0赞

#### 目录 ####

*  一、分词概述
 *  二、安装 ik 分词器
 *  三、测试分词器
 *  四、安装 nginx
 *  五、自定义词库

--------------------

## 一、分词概述 ##

一个 tokenizer (分词器) 接收一个字符流，将之分割为独立的 tokens (词元，通常是独立的单词)，然后输出 tokens 流。

例如，whitespace tokenizer 遇到空白字符时分割文本。它会将文本 “Quick brown fox!” 分割为 \[Quick, brown, fox!\]。

该 tokenizer (分词器) 还负责记录各个 term (词条) 的顺序或 position 位置 (用于phrase 短语和 word proximity 词近邻查询)，以及 term (词条) 所代表的原始 word (单词) 的start (起始) 和 end (结束) 的 character offsets (字符偏移量) (用于高亮显示搜索的内容)。Elasticsearch 提供了很多内置的分词器，可以用来构建 custom analyzers (自定义分词器)。

## 二、安装 ik 分词器 ##

注意：不能用默认 elasticsearch-plugin install xxx.zip 进行自动安装

[https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v6.4.2][https_github.com_medcl_elasticsearch-analysis-ik_releases_after_v6.4.2]

A、对应es 版本安装进入 es 容器内部 plugins 目录

docker exec -it 容器 id /bin/bash

![在这里插入图片描述][50d4a5bb3bb442cea2422b1c03d4f993.png]

wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-analysis-ik-7.4.2.zip

B、`unzip` 下载的文件

C、`rm –rf *.zip`

D、`mv elasticsearch/ ik`

![在这里插入图片描述][4191d38fa7504eca854f56a89a2c09f5.png]

可以确认是否安装好了分词器

cd ../bin

`elasticsearch plugin list`：即可列出系统的分词器

![在这里插入图片描述][8f727defec1944a89a76417c4643c072.png]

## 三、测试分词器 ##

**A、使用默认**

POST _analyze
    {
         
    	"text": "我是中国人"
    }

**B、请观察结果，使用分词器**

POST _analyze
    {
         
    	"analyzer": "ik_smart", "text": "我是中国人"
    }

另外一个分词器

ik_max_word
    POST _analyze
    {
         
    	"analyzer": "ik_max_word", "text": "我是中国人"
    }

能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping，因为要选择分词器。

## 四、安装 nginx ##

随便启动一个 nginx 实例，只是为了复制出配置

docker run -p 80:80 --name nginx -d nginx:1.10

如果 docker 中没有 nginx 镜像， 会默认先下载

![在这里插入图片描述][f4e4576999294246a8829a9ac18cd16e.png]

将容器内的配置文件拷贝到当前目录：

`docker container cp nginx:/etc/nginx .` 别忘了后面的点

修改文件名称：`mv nginx conf` 把这个 conf 移动到 /mydata/nginx 下

终止原容器：

docker stop nginx

执行命令删除原容器：

docker rm $ContainerId

创建新的 nginx；执行以下命令

docker run -p 80:80 --name nginx \
    -v /mydata/nginx/html:/usr/share/nginx/html \
    -v /mydata/nginx/logs:/var/log/nginx \
    -v /mydata/nginx/conf:/etc/nginx \
    -d nginx:1.10

![在这里插入图片描述][18271d8b59404ed2a08544b65db59c3a.png]

## 五、自定义词库 ##

修改 `/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml`

/usr/share/elasticsearch/plugins/ik/config

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict"></entry>
    	
    	<entry key="ext_stopwords"></entry>
    	
    	<entry key="remote_ext_dict">http://192.168.38.130/fenci/myword.txt</entry>
    	
    	
    </properties>

原来的 xml

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict"></entry>
    	
    	<entry key="ext_stopwords"></entry>
    	
    	
    	
    	
    </properties>

注：fenci 文件夹是 mydata/nginx/html 目录下的

更新完成后，es 只会对新增的数据用新词分词。历史数据是不会重新分词的。如果想要历史数据重新分词。需要执行：`POST my_index/_update_by_query?conflicts=proceed`

![在这里插入图片描述][ffba01964cb14ae2ab4685a9d90dc831.png]

[https_github.com_medcl_elasticsearch-analysis-ik_releases_after_v6.4.2]: https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v6.4.2
[50d4a5bb3bb442cea2422b1c03d4f993.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/109ec094ba934e509c43ca01bc064432.png
[4191d38fa7504eca854f56a89a2c09f5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/c711f7b12b2d422a868638838248202f.png
[8f727defec1944a89a76417c4643c072.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/820ab5b04c4b467db4a3c20399f86efe.png
[f4e4576999294246a8829a9ac18cd16e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/aad14c05a54d4afda6dca077b42de211.png
[18271d8b59404ed2a08544b65db59c3a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/595a77b5cc0b47c0b186a9f90f8cbff3.png
[ffba01964cb14ae2ab4685a9d90dc831.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/8768778398e34fcca86154464df8c3a9.png