solr快速上手：配置IK中文分词器（七）

ゝ一世哀愁。 2024-03-16 16:10 46阅读 0赞

## 0. 引言 ##

solr作为搜索引擎，常用在我们对于搜索速度有较高要求且大数据量的业务场景，我们之前已经配置过英文分词器，但是针对中文分词不够灵活和实用，要实现真正意义上的中文分词，还需要单独安装中文分词器

> [solr快速上手：solr简介及安装（一）][solr_solr]  
> [solr快速上手：核心概念及solr-admin界面介绍（二）][solr_solr-admin]  
> [solr快速上手：managed-schema标签详解（三）][solr_managed-schema]  
> [solr快速上手：创建核心/索引/core（四）][solr_core]  
> [solr快速上手：配置从mysql同步数据（五）][solr_mysql]  
> [solr快速上手：实现从mysql定时自动同步数据（六）][solr_mysql 1]

## 1. IK中文分词器简介 ##

IK中文分词器是一个国人开源的，基于java开发的轻量级中文分词器，能够实现对中文进行自然语言处理，并且支持自定义分词库，IK分词器本身也支持英文和数字的分词，满足中英文混合的业务场景。

**为什么需要中文分词器？**  
我们可以在solr Analysis中进行分词，采用默认的英文分词器，可以看到中文被切分成了单个汉字，而按照自然语言来讲，我们更希望将其分词为`俺`,`中国`,`man`，这样本身也符合语言习惯，同时不用单个字分词，也节约了存储空间，所以我们需要更加灵活的中文分词器  
![在这里插入图片描述][84053ff5088e455e95498473d506f9f1.png]

这种  
![在这里插入图片描述][5b075e5e8b3446f7a91cebbc333b6939.png]

## 2. IK分词器安装 ##

1、下载ik分词器，版本与solr版本保持一致  
下载地址：[https://central.sonatype.com/artifact/com.github.magese/ik-analyzer/8.2.0][https_central.sonatype.com_artifact_com.github.magese_ik-analyzer_8.2.0]

![在这里插入图片描述][2c0c517358b043f39dc6391bb71e57b0.png]

在`Versions`页面，选择solr对应版本的，点击`Browse`，选择`ik-analyzer-8.2.0.jar`下载

![在这里插入图片描述][457b14ecb58345f1994ecde48f013046.png]

2、将该jar包上传到solr服务器的`server/solr-webapp/webapp/WEB-INF/lib`目录下，或者你也可以直接在服务器上使用`wget`指令下载

![在这里插入图片描述][259ba48710dc4bdfa311ccf14c7e485f.png]

3、修改对应核心的`managed-schema`（或`schema.xml`）配置文件，新建一个字段类型`text_ik`

4、同时我们把需要修改分词器的字段的分词器调整一下，比如这里我们将`remarks`字段修改为中文分词器

![在这里插入图片描述][9b9aa56da05740b78d2042829971ec27.png]

5、重启solr

service solr stop
    service solr start

这里因为我的solr配置了开机自启，加入了service，所以可以直接用service管理启动停止，如果没有配置使用solr本身的启动停止指令即可

./bin/solr stop -all
    ./bin/solr start -force

6、查看分词效果

我们再次进行分词，这次选择中文分词器，然后查看分词效果，可以看到这次分词就成了词组，而不是之前的单个字，这样后续的匹配效果也更佳

![在这里插入图片描述][b1206f8fbd244cf1b3ff56db7c8b406f.png]

同时因为`remarks`字段配置了IK分词器，我们也直接直接用该字段测试分词效果

![在这里插入图片描述][d8fc3fc2f3794768badf6ce63422f34c.png]

**配置中文分词器后，历史数据没有达到对应效果**

我们修改分词器后，使用remarks查询，发现尽管有数据，还是查询不出来

![在这里插入图片描述][6b1adaec37d14200a33ee209c993b902.png]

我们上述进行分词测试，“送货”应该是能查询出来的，但是没有匹配上，这是因为怎么回事呢？

这是由于历史的数据已经按照之前的分词配置创建好了分词库，修改分词器并不会让历史数据重新创建分词，想实现这个效果，那就要重新加载索引数据

（1）删除历史索引数据

![在这里插入图片描述][9445a8d2773e41188efde75120a58a4f.png]  
（2）重新加载索引  
![在这里插入图片描述][8ca67e96a8f54377beffcb8bc340a981.png]  
（3）重启solr

（4）重新导入，即使用`full-import`即可

![在这里插入图片描述][ab07b2c873e64ede9743f3033cae9e67.png]  
（5）再次查询，发现已经可以正常查询出数据了

![在这里插入图片描述][e332b39f4d0643558a7f22048e507287.png]

## 3. 总结 ##

至此，我们针对IK中文分词器的简单使用就结束了， 实际上上手使用并不困难，难的是在复杂业务场景下的各类性能需求，但这些也不是我们在“快速上手”专栏所需考虑的了，对于陌生知识，也希望大家保持好奇，减少恐惧，大部分的使用场景实际上是简单的， 但同时也要对熟悉的知识保持敬畏，永远不要自大

还是那句话，动手试试吧！

[solr_solr]: https://wu55555.blog.csdn.net/article/details/130612310
[solr_solr-admin]: https://wu55555.blog.csdn.net/article/details/130631809
[solr_managed-schema]: https://wu55555.blog.csdn.net/article/details/130793603
[solr_core]: https://wu55555.blog.csdn.net/article/details/130908008
[solr_mysql]: https://wu55555.blog.csdn.net/article/details/130979757
[solr_mysql 1]: https://wu55555.blog.csdn.net/article/details/131028113
[84053ff5088e455e95498473d506f9f1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/01e4de5270284c9190f28be5bd2e2dbc.png
[5b075e5e8b3446f7a91cebbc333b6939.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/027d7eac68704cefadffc973e391f19d.png
[https_central.sonatype.com_artifact_com.github.magese_ik-analyzer_8.2.0]: https://central.sonatype.com/artifact/com.github.magese/ik-analyzer/8.2.0
[2c0c517358b043f39dc6391bb71e57b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7275445f82fd47ad9088420c10c26763.png
[457b14ecb58345f1994ecde48f013046.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ed0b1ed5121a4df1940417d8268aa4c2.png
[259ba48710dc4bdfa311ccf14c7e485f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/12f92ddad1ac40beaeefc39588137f68.png
[9b9aa56da05740b78d2042829971ec27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/016663232bf34d44b5b665099ecb65a1.png
[b1206f8fbd244cf1b3ff56db7c8b406f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cceab57d4c1b412d80b5432ef5a98a37.png
[d8fc3fc2f3794768badf6ce63422f34c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/29a454fb747e43d58922d9e38de2f095.png
[6b1adaec37d14200a33ee209c993b902.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6a55afdb29cf4914863298cd8e9956f1.png
[9445a8d2773e41188efde75120a58a4f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/08f31451b4a947fa8d89d4fa2c8600a2.png
[8ca67e96a8f54377beffcb8bc340a981.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1440b45e539a41f29c685a3ae5cb61bb.png
[ab07b2c873e64ede9743f3033cae9e67.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/affcd6ef1d9647e19fd32181511e619f.png
[e332b39f4d0643558a7f22048e507287.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4bad053607a045b484afb5bc6e27abc6.png