网站是怎么屏蔽脏话的呢：简单学会SpringBoot项目敏感词、违规词过滤方案

野性酷女 2023-09-27 16:32 120阅读 0赞

一个社区最重要的就是交流氛围与审查违规，而这两者都少不了对于敏感词进行过滤的自动维护措施。基于这样的措施，我们才能基本保证用户在使用社区的过程中，不至于被敏感违规词汇包围，才能够正常的进行发布帖子和评论，享受美好的社区氛围。目前，对于 springboot 项目也有较为成熟的敏感词过滤方案。

#### 文章目录 ####

*   *  敏感词过滤方案
     *   *  实现思路

### 敏感词过滤方案 ###

本文将采用 Github 上 houbb 大神开源的 [sensitive-word][] 工具包来进行敏感词过滤操作，它具备以下优秀特点：

*  包含 6W+ 词库，且不断优化更新
 *  基于 fluent-api 实现，使用优雅简洁
 *  完美兼容 spring boot 项目
 *  支持自定义敏感词一对一替换成对应正常词汇
 *  支持敏感词的判断、返回、脱敏等常见操作
 *  支持全角半角互换
 *  支持英文大小写互换
 *  支持数字常见形式的互换
 *  支持中文繁简体互换
 *  支持英文常见形式的互换
 *  支持用户自定义敏感词和白名单
 *  支持数据的数据动态更新，实时生效

敏感词过滤效果如下：

![image-20230322171239034][]

它不仅可以通过自定义替换词，也就是过滤后文本的 \* 号可以随意更改，如果想要删去敏感词，替换词直接选为空即可，他还可以通过自定义对应词的替换词，比如说：五星红旗指定为国家旗帜，毛主席指定为教员，示例如下：

“五星红旗迎风飘扬，毛主席的画像屹立在广场前”。变为 “国家旗帜迎风飘扬，教员的画像屹立在广场前。”

#### 实现思路 ####

*  实现 sensitive-word 的配置文件
 *  利用自定义的 SensitiveWordUtil 进行封装
 *  调用 SensitiveWordUtil 即可

XML导包模板：

<dependency>
        <groupId>com.github.houbb</groupId>
        <artifactId>sensitive-word</artifactId>
        <version>0.2.1</version>
    </dependency>

sensitive-word 配置是通过 SensitiveWordBs.newInstance() 进行配置的，它传回的是 SensitiveWordBs 对象，而不是默认的 SensitiveWordHelper 对象。配置类注意添加 @Configuration 注解

它的配置项如下：

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>方法</th> 
   <th>说明</th> 
   <th>默认值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>ignoreCase</td> 
   <td>忽略大小写</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>ignoreWidth</td> 
   <td>忽略半角圆角</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>ignoreNumStyle</td> 
   <td>忽略数字的写法</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>ignoreChineseStyle</td> 
   <td>忽略中文的书写格式</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>ignoreEnglishStyle</td> 
   <td>忽略英文的书写格式</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>ignoreRepeat</td> 
   <td>忽略重复词</td> 
   <td>false</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>enableNumCheck</td> 
   <td>是否启用数字检测。</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>enableEmailCheck</td> 
   <td>是有启用邮箱检测</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>enableUrlCheck</td> 
   <td>是否启用链接检测</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>numCheckLen</td> 
   <td>数字检测，自定义指定长度。</td> 
   <td>8</td> 
  </tr> 
 </tbody> 
</table>

在完成配置之前，我们可以先添加两个词库文本，作为自定义的敏感词库以及非敏感词库，第一个词库大家都理解，为什么还要定义非敏感词库呢？因为默认的 6w+ 敏感词中免不了存在部分在社区业务中不算过于敏感的词汇，想要予以保留，这样的话，我们就需要使用非敏感词库进行排除。当然，敏感词库不能够频繁更新以及初始化，会耗费过多的时间和性能。这两个词库放置在 resource 目录下，博主使用的是 jdk17 ，所以采用 NIO 进行文件读取，简洁高效。两个文件名称如下：

*  myAllowWords.txt：非敏感词库
 *  mySensitiveWords.txt：敏感词库

要使 sensitive-word 配置上自定义两个词库内容，必须分别继承以下两个接口：

*  IWordDeny：敏感词继承方法
 *  IWordAllow：非敏感词继承方法

不仅需要实现这两个接口，还要配置默认词库、自定义词库合并的词库，否则，如果在 SensitiveWordBs.newInstance() 直接配置继承方法，就只生效自定义词库。合并词库的方法为：WordDenys.chains()，默认词库分别为WordDenys.system()、WordAllows.system()，合并后词库分别赋值给 IWordDeny、IWordAllow

模板配置如下：

// 自定义敏感词
    // 注意每一行为一个敏感词，单行不能只包括空格，否则，也会把空格识别为敏感词
    public class MyWordDeny implements IWordDeny {
        
    
        @Override
        public List<String> deny() {
        
            List<String> list = new ArrayList<String>();;
            try {
        
                Resource mySensitiveWords = new ClassPathResource("mySensitiveWords.txt");
                Path mySensitiveWordsPath = Paths.get(mySensitiveWords.getFile().getPath());
                list =  Files.readAllLines(mySensitiveWordsPath, StandardCharsets.UTF_8);
            } catch (IOException ioException) {
        
                logger.error("读取敏感词文件错误！"+ ioException.getMessage());
            }
            return list;
        }
    
    }
    
    // 自定义非敏感词
    // 注意每一行为一个非敏感词，单行不能只包括空格，否则，也会把空格识别为非敏感词
    public class MyWordAllow implements IWordAllow {
        
    
        @Override
        public List<String> allow() {
        
            List<String> list = new ArrayList<String>();;
            try {
        
                Resource myAllowWords = new ClassPathResource("myAllowWords.txt");
                Path myAllowWordsPath = Paths.get(myAllowWords.getFile().getPath());
                list =  Files.readAllLines(myAllowWordsPath, StandardCharsets.UTF_8);
            } catch (IOException ioException) {
        
                logger.error("读取非敏感词文件错误！"+ ioException.getMessage());
            }
            return list;
        }
    
    }
    
    // 配置默认敏感词 + 自定义敏感词
    IWordDeny wordDeny = WordDenys.chains(WordDenys.system(), new MyWordDeny());
    // 配置默认非敏感词 + 自定义非敏感词
    IWordAllow wordAllow = WordAllows.chains(WordAllows.system(), new MyWordAllow());

而自定义替换规则就必须继承并实现 ISensitiveWordReplace 接口其中的 replace() 方法。实现模板代码如下：

public class mySensitiveWordReplace implements ISensitiveWordReplace {
        
        @Override
        public String replace(ISensitiveWordReplaceContext context) {
        
            String sensitiveWord = context.sensitiveWord();
            // 自定义不同的敏感词替换策略，可以从数据库等地方读取
            if("五星红旗".equals(sensitiveWord)) {
        
                return "国家旗帜";
            }
            if("毛主席".equals(sensitiveWord)) {
        
                return "教员";
            }
    
            // 其他默认使用 * 代替
            int wordLength = context.wordLength();
            return CharUtil.repeat('*', wordLength);
        }
    }

最后就是通过 SensitiveWordBs.newInstance() 进行配置，模板代码如下：

@Bean
    public SensitiveWordBs sensitiveWordBs(){
        
        return SensitiveWordBs.newInstance()
                // 忽略大小写
                .ignoreCase(true)
                // 忽略半角圆角
                .ignoreWidth(true)
                // 忽略数字的写法
                .ignoreNumStyle(true)
                // 忽略中文的书写格式：简繁体
                .ignoreChineseStyle(true)
                // 忽略英文的书写格式
                .ignoreEnglishStyle(true)
                // 忽略重复词
                .ignoreRepeat(false)
                // 是否启用数字检测
                .enableNumCheck(true)
                // 是否启用邮箱检测
                .enableEmailCheck(true)
                // 是否启用链接检测
                .enableUrlCheck(true)
                // 数字检测，自定义指定长度
                .numCheckLen(8)
                // 配置自定义敏感词
                .wordDeny(wordDeny)
                // 配置非自定义敏感词
                .wordAllow(wordAllow)
                .init();
    }

配置完成之后，我们就可以使用 SensitiveWordUtil 进行封装使用了，实现代码如下：

@Component
    public class SensitiveWordUtil {
        
        @Autowired
        private SensitiveWordBs sensitiveWordBs;
    
        // 刷新敏感词库与非敏感词库缓存
        public void refresh(){
        
            sensitiveWordBs.init();
        }
        // 判断是否含有敏感词
        public boolean contains(String text){
        
            return sensitiveWordBs.contains(text);
        }
    
        // 指定替换符进行替换敏感词
        public String replace(String text, char replaceChar){
        
            return sensitiveWordBs.replace(text,replaceChar);
        }
    
        // 使用默认替换符 * 进行替换敏感词
        public String replace(String text){
        
            return sensitiveWordBs.replace(text);
        }
    
        // 返回所有敏感词
        public List<String> findAll(String text){
        
            return sensitiveWordBs.findAll(text);
        }
    }

调用就不用说明了吧，我们敏感词过滤的部分就完成了。放一下 API 文档

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>参数</th> 
   <th>返回值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>contains(String)</td> 
   <td>待验证的字符串</td> 
   <td>布尔值</td> 
   <td>验证字符串是否包含敏感词</td> 
  </tr> 
  <tr> 
   <td>replace(String, ISensitiveWordReplace)</td> 
   <td>使用指定的替换策略替换敏感词</td> 
   <td>字符串</td> 
   <td>返回脱敏后的字符串</td> 
  </tr> 
  <tr> 
   <td>replace(String, char)</td> 
   <td>使用指定的 char 替换敏感词</td> 
   <td>字符串</td> 
   <td>返回脱敏后的字符串</td> 
  </tr> 
  <tr> 
   <td>replace(String)</td> 
   <td>使用 <code>*</code> 替换敏感词</td> 
   <td>字符串</td> 
   <td>返回脱敏后的字符串</td> 
  </tr> 
  <tr> 
   <td>findAll(String)</td> 
   <td>待验证的字符串</td> 
   <td>字符串列表</td> 
   <td>返回字符串中所有敏感词</td> 
  </tr> 
  <tr> 
   <td>findFirst(String)</td> 
   <td>待验证的字符串</td> 
   <td>字符串</td> 
   <td>返回字符串中第一个敏感词</td> 
  </tr> 
  <tr> 
   <td>findAll(String, IWordResultHandler)</td> 
   <td>IWordResultHandler 结果处理类</td> 
   <td>字符串列表</td> 
   <td>返回字符串中所有敏感词</td> 
  </tr> 
  <tr> 
   <td>findFirst(String, IWordResultHandler)</td> 
   <td>IWordResultHandler 结果处理类</td> 
   <td>字符串</td> 
   <td>返回字符串中第一个敏感词</td> 
  </tr> 
 </tbody> 
</table>

测试方法：

@RunWith(SpringRunner.class)
    @SpringBootTest
    @ContextConfiguration(classes = CommunityApplication.class)
    public class SensitiveTest {
        
    	@Autowired
        private SensitiveWordUtil sensitiveWordUtil;
        @Test
        public void utilTest02(){
        
            String result = sensitiveWordUtil.replace("法网恢恢 哇 nnd 复活");
            System.out.println(result);
        }
    }

![求关注点赞][263395688c5684b07553ee5e6018eff9.png]

[sensitive-word]: https://github.com/houbb/sensitive-word
[image-20230322171239034]: https://img-blog.csdnimg.cn/img_convert/49c32f9ab860e9fc0d439d9d72658e5c.png
[263395688c5684b07553ee5e6018eff9.png]: https://img-blog.csdnimg.cn/img_convert/263395688c5684b07553ee5e6018eff9.png