【ElasticSearch】IK分词加入标点符号

谁践踏了优雅 2022-10-09 04:52 133阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70_pic_center]

# 1.概述 #

转载并且补充：[https://blog.csdn.net/loyopp/article/details/47758247][https_blog.csdn.net_loyopp_article_details_47758247]

IK分词默认的分词结果是没有标点符号的，看了一番源码。发现直接修改源代码加入标点需要改动多处。

所以想到了一个策略，从外部包一层代码，先让ik分词，然后检测它的前后是否有遗漏符号，然后将符号加入分词结果中。

当然，大家如果有好的方法，请上交！

下边是源码部分：

maven依赖

<dependency>
                <groupId>cn.bestwu</groupId>
                <artifactId>ik-analyzers</artifactId>
                <version>5.1.0</version>
            </dependency>

代码

package com.es.participles.IK;
    
    import org.wltea.analyzer.core.IKSegmenter;
    import org.wltea.analyzer.core.Lexeme;
    
    import java.io.StringReader;
    
    /** * @author: chuanchuan.lcc * @date: 2021-06-23 22:28 * @modifiedBy: chuanchuan.lcc * @version: 1.0 * @description: * * IK 分词器包含 标点符号 */
    public class IKHavePunctuation { 
    
        /** * 测试点：测试IK分词器 能分出来标点符号 * 参考：https://blog.csdn.net/loyopp/article/details/47758247 * 测试结果： * * 原句：^_^ 你好，ik分词！ * 分词：^ _ ^ 你好 ， ik 分词 ！ * * @param args * @throws Exception */
        public static void main(String[] args) throws Exception { 
            String input = "^_^ 你好，ik分词！";
            Lexeme beforeWord = null;
            Lexeme currentWord = null;
            StringBuffer sb = new StringBuffer();
            IKSegmenter ik = new IKSegmenter(new StringReader(input), true);
            System.out.println("原句："+input);
            while ((currentWord = ik.next()) != null) { 
                sb.append(appendSymbol(input, beforeWord, currentWord));
                beforeWord = currentWord;
            }
            sb.append(appendSymbol(input, beforeWord, currentWord));
            System.out.println("分词："+sb.toString().replaceAll(" +", " ").trim());
        }
        /** * 补全IK分词遗漏的符号 * @param line * @param before * @param cur * @return */
        public static String appendSymbol(String line, Lexeme before, Lexeme cur) { 
            String res = "";
            if (before == null) { // 第一个词前边的符号
                res = cur.getLexemeText() + " ";
                int start = cur.getBegin();
                if (start > 0) { 
                    String left =appendWhiteSpace(line.substring(0, start));
                    res = left + res;
                }
            } else if (cur == null) { // 最后一个词后边的符号
                int end = before.getEndPosition();
                if (end < line.length()) { 
                    String right =appendWhiteSpace( line.substring(before.getEndPosition()));
                    res = right;
                }
            } else {  // 和前一个词之间的符号
                res = cur.getLexemeText() + " ";
                int beforeEnd = before.getEndPosition();
                if (cur.getBegin() > beforeEnd) { 
                    String mid = appendWhiteSpace(line.substring(beforeEnd, cur.getBegin()));
                    res = mid + res;
                }
            }
            return res;
        }
        /** * 你好吗 -> 你 好 吗 * @param src * @return */
        public static String appendWhiteSpace(String src){ 
            String dst="";
            for (char c : src.toCharArray()) { 
                dst += c + " ";
            }
            return dst;
        }
    
    }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221005/478267dbd1474f3aa3386e93a616a238.png
[https_blog.csdn.net_loyopp_article_details_47758247]: https://blog.csdn.net/loyopp/article/details/47758247