标题去标点、空格、停用词等采用AI提供的开源包：

怼烎@ 2022-11-27 00:41 9阅读 0赞

标题去标点、空格、停用词等采用AI提供的开源包：  
<dependency>  
            <groupId>com.hankcs</groupId>  
            <artifactId>hanlp</artifactId>  
            <version>portable-1.7.8</version>  
        </dependency>  
调用方法：  
 HanLP.segment(text)  
                    .stream()  
                    .map(t -> HanLP.convertToSimplifiedChinese(t.word))  
                    .filter(NormalizeUtils::checkStringContainChinese) //必须要有中文  
                    .filter(w -> !CoreStopWordDictionary.contains(w) && !StringUtils.isEmpty(w))  
                    .filter(w -> !w.matches(  
                            "\[\\\\pP\\\\p\{Punct\}\]")) //标点  
                    .collect(Collectors.joining(""));

// 信息
    String title ="中文-----";
    //去标点  返回String
    title = HanLP.segment(title)
            .stream()
            .map(t -> HanLP.convertToSimplifiedChinese(t.word))
            .filter(w -> !CoreStopWordDictionary.contains(w) && !StringUtils.isEmpty(w))
            .filter(w -> !w.matches("[\\pP\\p{Punct}]"))
            .collect(Collectors.joining(""));

发表评论取消回复

表情：

评论列表（有 0 条评论，9人围观）

还没有评论，来说两句吧...

相关阅读

相关 IK分词器扩展词停用词

IK Analyzer 扩展配置

叁歲伎倆/ 2024年05月05日 07:48/ 0 赞/ 88 阅读

相关 ElasticSearch（七）【扩展词、停用词配置】

七、扩展词、停用词配置 -------------------- 上一篇文章《[ElasticSearch - 分词器][ElasticSearch -]》 IK支持

╰半橙微兮°/ 2024年04月06日 10:34/ 0 赞/ 83 阅读

相关 NLP-文本处理：词的过滤（Words Filtering）【停用词、低频词】

类似于特征筛选的过程，如果不过滤掉它们，很可能对我们的语言模型产生负面的影响。停用词，对于理解文章没有太大意义的词，比如"the"、“an”、“his”、“their

柔情只为你懂/ 2023年10月04日 09:32/ 0 赞/ 40 阅读

相关汇集四大主流停词的中文停词库-7352个停词

停用词是一些在自然语言处理中被过滤掉的常见词语，如“的”、“是”、“在”等。它们在文本中出现频率非常高，但通常不包含特定含义，因此被视为噪声。以下是中国网上最主流的4个中文

约定不等于承诺〃/ 2023年09月30日 22:26/ 0 赞/ 17 阅读

相关 Python 中文分词并去除停用词

import jieba 创建停用词list def stopwordslist(filepath): st

偏执的太偏执、/ 2023年08月17日 16:46/ 0 赞/ 116 阅读

相关标题去标点、空格、停用词等采用AI提供的开源包：

标题去标点、空格、停用词等采用AI提供的开源包： <dependency> <groupId>com.hankcs</groupId>

怼烎@/ 2022年11月27日 00:41/ 0 赞/ 10 阅读

相关 jieba分词，去除停用词并存入txt文本

代码如下，[停用词获取][Link 1] 密码：zpso -- coding: utf-8 -- import jieba import jie

- 日理万妓/ 2022年05月15日 06:54/ 0 赞/ 358 阅读

相关 HanLP无法动态加载停用词，无法重载停用词的自定义处理

在使用HanLP框架的过程中，发现其内置的CoreStopWordDictionary类只有删除、添加方法，没有动态的重载。而项目的需求确实可以动态加载，用他内置的方法去全删掉

╰+哭是因爲堅強的太久メ/ 2022年04月10日 03:14/ 0 赞/ 482 阅读

相关三、lucene3.5的分词语法[停用词扩展、同义词搜索等]

1 、![1366550919_7792.png][] 2、语汇单元的结构解释 ![1366550967_2206.png][] 3、同义词的设计思路 ![13

浅浅的花香味﹌/ 2022年03月11日 10:54/ 0 赞/ 182 阅读

相关 jieba分词和去停用词

分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又

心已赠人/ 2021年09月22日 08:54/ 0 赞/ 544 阅读