敏感词过滤golang

àì夳堔傛蜴生んèń 2022-04-03 08:46 390阅读 0赞

用golang写了敏感词过滤的工具，主要用来检测用户昵称中是否存在敏感词，同时提供剔除转移字符的功能。

可以先将敏感词库存放在一个map中，敏感词可以参考这里：[https://github.com/fwwdn/sensitive-stop-words][https_github.com_fwwdn_sensitive-stop-words]

将map和昵称传入，程序会检查昵称的每一个子串，判断是否在map敏感词库中。复杂度O(len(name)^2)

package util
    
    import (
    	"github.com/pkg/errors"
    	"strings"
    
    )
    
    type filter struct {
    	data        string
    	maxLimitLen int
    }
    
    func NewKeywordFilter(str string, maxLimitLen int) (*filter, error) {
    	if len(str) > maxLimitLen {
    		return nil, errors.Errorf("长度：%d，不能超过：%d", len(str), maxLimitLen)
    	}
    	return &filter{
    		data:        str,
    		maxLimitLen: maxLimitLen,
    	}, nil
    }
    
    func (f *filter) GetData() string {
    	return f.data
    }
    
    func (f *filter) FilterKeywords(keywords map[string]bool) (err error) {
    	if keywords == nil {
    		return
    	}
    	for i := 0; i < len(f.data); i++ {
    		for j := i + 1; j <= len(f.data); j++ {
    			subStr := f.data[i:j]
    			if _, found := keywords[subStr]; found {
    				err = errors.Errorf("昵称违规，建议修改")
    			}
    		}
    	}
    	return
    }
    
    func (f *filter) TrimAllCharset(ch []string) (err error) {
    	if ch == nil {
    		return
    	}
    	for _, c := range ch {
    		f.data = strings.Replace(f.data, c, "", -1)
    	}
    	if len(f.data) == 0 {
    		err = errors.New("剔除相关转移字符后，数据长度为0.")
    		return
    	}
    	return
    }

[https_github.com_fwwdn_sensitive-stop-words]: https://github.com/fwwdn/sensitive-stop-words

发表评论取消回复

表情：

评论列表（有 0 条评论，390人围观）

还没有评论，来说两句吧...

相关阅读

相关敏感词过滤

1. 创建一个储存要过滤的敏感词的文本文件放到项目的resources里把你想要过滤的词一个词一行放进文本。 2. 添加一个过滤敏感词的工具类 package

ゞ浴缸里的玫瑰/ 2023年10月12日 14:32/ 0 赞/ 48 阅读

相关 JavaUtilS | 敏感词过滤 - SensitiveWord

import java.io.BufferedReader; import java.io.IOException; import java.io.In

傷城~/ 2022年12月03日 01:53/ 0 赞/ 246 阅读

相关 node实现敏感词过滤及敏感词库

![20210401113146699.png][] 核心代码 import as fs from 'fs'; import as path from

古城微笑少年丶/ 2022年11月15日 12:22/ 0 赞/ 197 阅读

相关 JAVA 敏感词过滤

String[] keywords =new String[] { "奸","强奸", "性感", "性欲", "性爱", "欲望", "激情", "狂", "联系",

雨点打透心脏的1/2处/ 2022年08月10日 00:46/ 0 赞/ 230 阅读

相关 python 敏感词过滤

敏感词过滤的经典[算法][Link 1]DFA ，做了评估实验先上代码 \[python\] [view plain][] [copy][view plain]

骑猪看日落/ 2022年06月16日 14:38/ 0 赞/ 231 阅读

相关 java实现敏感词过滤

项目中的需要,对用户的输入进行敏感词的过滤,使用的是DFT算法,敏感词可以从数据库进行读取和配置. 把代码整理了一下,可以直接使用完整工程下载地址: [https

àì夳堔傛蜴生んèń/ 2022年05月30日 10:36/ 0 赞/ 230 阅读

相关过滤词向量的敏感词

[https://github.com/flyyuan/filterWordEmbedding][https_github.com_flyyuan_filterWordEmbe

àì夳堔傛蜴生んèń/ 2022年05月15日 14:20/ 0 赞/ 243 阅读

相关敏感词过滤golang

用golang写了敏感词过滤的工具，主要用来检测用户昵称中是否存在敏感词，同时提供剔除转移字符的功能。可以先将敏感词库存放在一个map中，敏感词可以参考这里：[https

àì夳堔傛蜴生んèń/ 2022年04月03日 08:46/ 0 赞/ 391 阅读

相关 php的敏感词过滤

fiter类： class Fiter { private $dict; private $dictPath;

谁践踏了优雅/ 2022年03月06日 04:06/ 0 赞/ 248 阅读

相关 Java过滤敏感词

新建SensitiveWordInit类文件 package com.zns.test; import java.io.BufferedReader

素颜马尾好姑娘i/ 2021年12月22日 03:25/ 0 赞/ 347 阅读