基于ES之分词搜索详解

àì夳堔傛蜴生んèń 2022-10-28 04:54 190阅读 0赞

### 目录 ###

*   *  （1）IK分词插件安装与验证
     *  （2）IK自定义词库扩展配置
     *  （3）创建ES索引和Mapping
     *  （4）拼音分词插件安装与验证
     *  （5）自定义拼音分词器

## （1）IK分词插件安装与验证 ##

分词器地址：  
[https://github.com/medcl/elasticsearch-analysis-ik][https_github.com_medcl_elasticsearch-analysis-ik]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]

1.IK analyzer插件包的下载地址：[https://elasticsearch.cn/download/][https_elasticsearch.cn_download]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]  
2.插件安装过程

*  进入到`/opt/modules/elasticsearch/plugins`目录下
 *  创建ik目录`mkdir ik`
 *  将下载好的插件解压到ik目录下`unzip`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]  
3.重启ES服务

bin/elasticsearch

4.启动kibana服务进行IK分词器的验证  
测试词:中华人民共和国

ES分词器搜索效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]

## （2）IK自定义词库扩展配置 ##

在对分词做配置的时候，我们可以根据自己的需求做分词，比如：

卡弗卡大数据	-> 卡弗卡 大数据

在config目录下创建配置自己的扩展字典`my.dic`

vim my.dic
    卡弗卡
    大数据

修改配置文件：`ik/config/IKAnalyzer.cfg.xml`

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict">my.dic</entry>
    	 
    	<entry key="ext_stopwords"></entry>
    	
    	
    	
    	
    </properties>

重启ES服务，通过kibana验证：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 4]  
确实起到了自定义分词的效果，但是【大数】不是我们想要的分词  
我们可以配置自己的扩展停止词字典`my_stop.dic`：

vim my_stop.dic
    大数

修改配置文件：`ik/config/IKAnalyzer.cfg.xml`

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict">my.dic</entry>
    	 
    	<entry key="ext_stopwords">my_stop.dic</entry>
    	
    	
    	
    	
    </properties>

再次验证达到我们想要的效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 5]

## （3）创建ES索引和Mapping ##

1.重新创建es索引  
**我们在初始化导入ES数据的时候，自动生成的mapping，现在我们要进行分词搜索，必须要重新构建mapping，不能修改原有的mapping，只能重新创建一个新的mapping。**

GET novel/_mapping

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 6]  
拷贝内容，修改内容如下：  
修改四个部分：“name”, “category”, “author”, “novelinfo”  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 7]  
2.数据加载到新创建的索引上:novel\_new

POST _reindex
    { 
      "source": { 
        "index": "novel"
      },
      "dest": { 
        "index": "novel_new"
      }
    }

# 删除novel
    DELETE novel
    GET _cat/indices
    
    # 创建别名，程序代码不动
    POST _aliases
    { 
      "actions": [
        { 
          "add": { 
            "index": "novel_new",
            "alias": "novel"
          }
        }
      ]
    }

分词搜索效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 9]

## （4）拼音分词插件安装与验证 ##

1.下载地址：[https://elasticsearch.cn/download/][https_elasticsearch.cn_download]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 10]  
2.插件安装  
说明文档地址：[https://github.com/medcl/elasticsearch-analysis-pinyin][https_github.com_medcl_elasticsearch-analysis-pinyin]  
安装方式与IK Analyzer插件相同，在/opt/modules/elasticsearch/plugins/地址下创建pinyin目录，将yinpin资源包下载之后放到创建的pinyin目录。

3.重启ES服务

4.启动kibana服务进行pinyin分词器的验证  
测试词:英雄

## （5）自定义拼音分词器 ##

1.使用自定义拼音分析器创建索引

PUT /novel_new_ik_pinyin/ 
    { 
        "settings" : { 
            "analysis" : { 
                "analyzer" : { 
                    "ik_pinyin_analyzer" : { 
                        "type" : "custom",
                        "tokenizer" : "ik_max_word",
                        "filter" : "my_pinyin"
                        } 
                },
                "filter" : { 
                    "my_pinyin" : { 
                        "type" : "pinyin",
                        "keep_separate_first_letter" : false,
                        "keep_full_pinyin" : true,
                        "keep_original" : true,
                        "limit_first_letter_length" : 16,
                        "lowercase" : true,
                        "remove_duplicated_term" : true
                    }
                }
            }
        }
    }

2.对自定义拼音分析器进行测试

GET novel_new_ik_pinyin/_analyze
    { 
      "analyzer": "ik_pinyin_analyzer",
      "text": "英雄"
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 12]  
3.创建索引对应的Mapping  
将需要查询的字段加上自定义拼音分析器，因为拼音分析也包含中文分词分析。  
包括字段： author、name、category、novelinfo

Boost:为权重设置。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 13]4.对新创的索引加载数据

POST _reindex
    { 
      "source": { 
        "index": "novel"
      },
      "dest": { 
        "index": "novel_new_ik_pinyin"
      }
    }

5.基于Kibana进行测试

GET novel_new_ik_pinyin/doc/_search
    { 
      "query": { 
        "match": { 
          "name.pinyin": "meinv"
        }
      }
    }

POST _aliases
    { 
      "actions": [
        { 
          "add": { 
            "index": "novel_new_ik_pinyin",
            "alias": "novel"
          }
        }
      ]
    }

7.代码开发  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 15]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 16]  
8.页面搜索效果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 17]

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！

[https_github.com_medcl_elasticsearch-analysis-ik]: https://github.com/medcl/elasticsearch-analysis-ik
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221024/dc402008a9474ca09bd602cb51a573cd.png
[https_elasticsearch.cn_download]: https://elasticsearch.cn/download/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221024/fc4ac5b81d894b5d998e8aed95828f25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221024/d0eb11d4b17546f48861f8b677189bdd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221024/14f3b261767d48e79713dd5f9464014f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221024/c191c3c9deed45e996744049a3881664.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221024/37cfb9a92d7b4e418d2db7cef416f86f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221024/8c7403af6bc14dee9d073b6749899a8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221024/5878871f0d2b42fe8b06edbe90dccb5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221024/afc51251a5ab4aceac63fca2eaaee26a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221024/b432906bb6be499eafb3a0ddbaefa6bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221024/785582d71cbb48a9823017d13978d1d4.png
[https_github.com_medcl_elasticsearch-analysis-pinyin]: https://github.com/medcl/elasticsearch-analysis-pinyin
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221024/64d159865b6a4f5fb0734ae0011bcd5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221024/6214a7d4dcbb4cd384b792f40204a4fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221024/be1f181cadca438c8e3bc66db41097e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20221024/bb26f281066b4343885072b130dc5249.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20221024/2276fd1155584c51b40caa0f2a99e80d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20221024/30cb8ed356a94587a0d18a6a1a73b6a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20221024/298a9869e2944b188f581d6c9cf2156c.png