Elasticserach 中文分词插件

曾经终败给现在 2023-07-10 08:59 4阅读 0赞

### 一、elasticsearch-analysis-hanlp ###

1）定义：面向生产环境的自然语言处理工具包,中文分词器。  
2）github官网：https://github.com/KennFalcon/elasticsearch-analysis-hanlp  
3）特性：中文分词比较准确、可以远程设置词典、可以自定义词典  
4）官网有安装、版本说明  
5)演示，该分词插件有多种模式

#ik_max_word
    #ik_smart
    #hanlp: hanlp默认分词
    #hanlp_standard: 标准分词
    #hanlp_index: 索引分词
    #hanlp_nlp: NLP分词
    #hanlp_n_short: N-最短路分词
    #hanlp_dijkstra: 最短路分词
    #hanlp_crf: CRF分词（在hanlp 1.6.6已开始废弃）
    #hanlp_speed: 极速词典分词
    
    POST _analyze
    { 
      "analyzer": "hanlp_nlp",
      "text": ["剑桥分析公司多位高管对卧底记者说，他们确保了唐纳德·特朗普在总统大选中获胜"]
    
    }

结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70]

### 二、elasticsearch-analysis-ik ###

1）定义：常用的中文分词插件  
2）github官网：https://github.com/medcl/elasticsearch-analysis-ik  
3）特性：支持词典热更新  
4）官网有安装、版本说明

### 三、elasticsearch-analysis-pinyin ###

1）定义：拼音分词器插件  
2）github官网：https://github.com/medcl/elasticsearch-analysis-pinyin  
3）特性：中文分词到拼音，能够解决拼音搜索的场景  
4）官网有安装、版本说明  
5）演示

#给所有artists创建自定义分词器user_name_analyzer
    PUT /artists/
    { 
        "settings" : { 
            "analysis" : { 
                "analyzer" : { 
                    "user_name_analyzer" : { 
                        "tokenizer" : "whitespace",
                        "filter" : "pinyin_first_letter_and_full_pinyin_filter"
                    }
                },
                "filter" : { 
                    "pinyin_first_letter_and_full_pinyin_filter" : { 
                        "type" : "pinyin",
                        "keep_first_letter" : true,
                        "keep_full_pinyin" : false,
                        "keep_none_chinese" : true,
                        "keep_original" : false,
                        "limit_first_letter_length" : 16,
                        "lowercase" : true,
                        "trim_whitespace" : true,
                        "keep_none_chinese_in_first_letter" : true
                    }
                }
            }
        }
    }
    #验证拼音分词器效果
    GET /artists/_analyze
    { 
      "text": ["刘德华 张学友 郭富城 黎明 四大天王"],
      "analyzer": "user_name_analyzer"
    }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200301220612352.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5,size_16,color_FFFFFF,t_70