ik_smart ik 分词器扩展字典配置方法

川长思鸟来 2022-11-17 05:20 307阅读 0赞

1.  官方文档[https://github.com/medcl/elasticsearch-analysis-ik][https_github.com_medcl_elasticsearch-analysis-ik]
2.  参考链接:[https://blog.csdn.net/shihuacai/article/details/8494360/][https_blog.csdn.net_shihuacai_article_details_8494360]

我是用手工安装的插件，然后准备本地配置下扩展字典。步骤如下:

1.  在 [https://github.com/medcl/elasticsearch-analysis-ik/releases][https_github.com_medcl_elasticsearch-analysis-ik_releases] 下载和自己的 es 版本相匹配的 ik 分词器。
2.  解压 elasticsearch-analysis-ik-7.12.0.zip ，然后把解压文件夹拷贝到 /xxxxxx/elasticsearch-7.12.0/plugins/ 下。
3.  然后把 elasticsearch-analysis-ik-7.12.0 文件夹重命名为 ik 。
4.  然后编辑 /xxxxxx/elasticsearch-7.12.0/plugins/ik/config/IKAnalyzer.cfg.xml 配置文件。内容如下:
    
        <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
            <entry key="ext_dict">/xxxxxx/elasticsearch-7.12.0/plugins/ik/shfq_ext_dic.dic</entry>
            
            <entry key="ext_stopwords"></entry>
            
            
            
            
        </properties>
5.  shfq\_ext\_dic.dic 扩展字典内容如下:
    
        民共
        程隆
        程隆腾达
6.  重启 es ，然后在 kibana 对 “民共” 进行分词，结果没生效。
    
        GET _analyze
        {
            "analyzer": "ik_max_word",
            "text" : "民共"
        }
        分词结果:
        {
        "tokens" : [
           	{
         		"token" : "民",
         		"start_offset" : 0,
         		"end_offset" : 1,
         		"type" : "CN_CHAR",
         		"position" : 0
           	},
           	{
         		"token" : "共",
         		"start_offset" : 1,
         		"end_offset" : 2,
         		"type" : "CN_CHAR",
         		"position" : 1
           	}
           ]
        }

百思不得其解，后来重新启动 es ，在启动日志里看到了下面的信息:

[Ext Loading] file not found: /xxxxxx/elasticsearch-7.12.0/plugins/ik/config/xxxxxx/elasticsearch-7.12.0/plugins/ik/shfq_ext_dic.dic

我在 IKAnalyzer.cfg.xml 配置文件中配置的扩展字典的地址是绝对地址，实际上只能用相对地址，必须把扩展字典文件放到 /xxxxxx/elasticsearch-7.12.0/plugins/ik/config/ 目录下 。

修改之后，再对 “民共” 分词之后，结果如下:

{
      "tokens" : [
        {
          "token" : "民共",
          "start_offset" : 0,
          "end_offset" : 2,
          "type" : "CN_WORD",
          "position" : 0
        }
      ]
    }

符合预期。

**有两点需要注意:**

1.  字典文件要求是 utf-8 编码格式的。
2.  字典的路径是相对的，不能随便放，必须放到 config 目录下。

[https_github.com_medcl_elasticsearch-analysis-ik]: https://github.com/medcl/elasticsearch-analysis-ik
[https_blog.csdn.net_shihuacai_article_details_8494360]: https://blog.csdn.net/shihuacai/article/details/8494360/
[https_github.com_medcl_elasticsearch-analysis-ik_releases]: https://github.com/medcl/elasticsearch-analysis-ik/releases