关于杂质过滤的一点研究

以你之姓@ 2023-10-04 14:43 4阅读 0赞

# 1、问题描述 #

通过爬虫采集的网上内容中包含大量的无用信息（杂质），需要通过计算机自动过滤这些无用杂质，保留真正有用的内容，过滤本身是一个类别判断即分类的过程。

# 2、解决方案 #

一般来说，杂质的主要来源有：

*  关键词误判：错误命中采集关键词；
 *  无用、垃圾网站：例如 “昆山新闻网” 信息网站等；
 *  黄/赌/毒/游戏类信息：一些论坛发表的黄/赌/毒/游戏类帖子；
 *  其他：例如考研培训、招聘网站等特定不需要的网站；

总体的来说，需要通过对标注语料的观察，尝试总结杂质的大致分类及占比，优先处理占比大的杂质类型。

杂质过滤一般有两种方案：

*  规则方法：借助专业人员的帮助，为每个类别定义大量的推理规则，如果一篇文档能满足这些推理规则，则可以判定属于该类别。
 *  统计方法：通过训练语料结合一定训练模型，在用模型对新的语料进行预测。相应算法比如：朴素贝叶斯、 word2vec、 随机森林、SVM等。

# 3、方法选取 #

针对不同类型的杂质，选用不同的过滤方式，注重过滤方式的“性价比”。

一般而言，基于统计的机器学习方法需要大量的训练语料支持，有一定的成本门槛。优先选择简单实用的规则过滤，通过多次规则迭代，根据效果再考虑使用机器学习算法不失为一种优先选择。

# 4、具体实施 #

## 4.1 关键词误判 ##

描述：命中采集关键词，例如“中智行科技有限公司”/”中智（中国和智利）”，但该关键词并非指关爱通的中智；

思路：

1.  添加排除词，例如：中智行|中智行科技有限公司等；
2.  添加规则,例如：中智.\*?两国关系，中智.\*?经贸等；
3.  中文分词，例如“汉中智能”，通过分词结果“汉中”、“智能”不包含“中智”即可过滤掉。

## 4.2 无用、垃圾网站过滤 ##

描述： 在对杂质进行观察中发现一些杂质都来源于某些特定垃圾网站，例如“昆山新闻网”，从这些网站采集的信息都属于杂质信息。对应这些杂质，可以通过域名过滤的方式排除。

思路：

1.  判断无用、垃圾网站：如果从该域名抓取的信息完全或绝大部分（例如95%以上，具体需和数据部人员沟通）属于杂质，那么该网站就属于无用、垃圾网站；
2.  找出这些无用、垃圾网站的域名作为杂质特征。

域名过滤简单直接，灵活性和扩展性好。

## 4.3 黄/赌/毒/游戏类杂质 ##

描述： 该类信息一般会出现在论坛、贴吧等，无法通过域名过滤去除。

思路： 该类杂质一般会包含明显的特征词，例如“破天一剑”，“热血江湖”等，但该关键词在标题和内容中都有可能出现，所以需要引入对标题+内容的基于排除关键词的过滤机制。

步骤：

1.  加入标题侦测机制，基于排除关键词列表，对标题包含排除关键词的数据直接判为杂质；
2.  对每个排除关键词，基于标注语料，统计杂质识别准确率，确保该关键词不会造成非杂质被过滤掉。

## 4.4 其他杂质 ##

描述：部分可通过杂质内容包含的其他特征进行过滤，例如诗歌：

> 霜风可可不辉光，中智生朝鸟满天。
> 
> 虽未帝王山下路，最愁还是慢琴弦。
> 
> ——寒露《寒露诗选》
> 
> \#原创诗词\# \#七绝\#

通过信息中的“\#原创诗词\# \#七绝\#”等特征可过滤掉。

最后剩下的就是难以通过总结规则的过滤的杂质，这时就需要引入机器学习算法。

## 4.5 机器学习算法 ##

可供使用的分类算法有很多，例如在垃圾邮件过滤中有名的朴素贝叶斯，Logistic回归，SVM，随机森林等。下面以"Word2vec + 随机森林"来说明：

思路：基于word2vec，选取文档特征词；根据提炼后的特征词，向量化文档；使用随机森林分类算法训练模型，分类。

步骤：

1.  通过word2vec训练词向量，可以得到一个词向量空间，每个词都是该空间中一点，文档由词构成，将文档分词后，通过求取平均值的方式，可将文档也投射到词向量空间中，通过计算词与文档的余弦相似度，作为该词对所属文档的贡献度（该词在文档中的权重）
2.  入随机森林训练预由此每篇文档便对应若干加权词，这些词都是潜在的特征词
3.  分类别对所有加权词进行相加汇总并标准化，基于最能表征类别的原则，提取一定量的关键词（具体数量需实验测试效果，过大过小都不适合）
4.  于是每篇文档可表示特征词向量的形式 加入随机森林训练预测

## 4.6 总结 ##

1.  选择方法时考虑“性价比”；
2.  先观察总结，能总结出简单的规则，尽量先通过规则过滤；
3.  规则可以是基于标题，域名，内容等，只要测试效果好不必拘泥形式；
4.  若剩余杂质仍过多，再结合机器学习分类算法。

# 5、实验 #

本次实验主要处理如下类型的杂质：

*  无用、垃圾网站：例如 “昆山新闻网” 信息网站等
 *  黄/赌/毒/游戏类信息：一些论坛发表的黄/赌/毒/游戏类帖子
 *  叠词重复问题：例如网页http://www.scxiantan.com/bjpp/48819.html中源码包含以下：

> 学院 无锡职业技术学院 成都理工大学工程技术学院 石家庄职业技术学院 郑州铁路职业技术学院 西安铁路职业技术学院 邢台职业技术学院 青岛港湾职业技术学院 长沙民政职业技术学院 郑州工业应用技术学院 青岛酒店管理职业技术学院 山东信息职业技术学院 武汉船舶职业技术学院 武汉工程职业技术学院 秦皇岛职业技术学院 泰山职业技术学院 德州职业技术学院 湖北交通职业技术学院 云南交通职业技术学院 济南工程职业技术学院 山西工程技术学院 郑州工程技术学院 漳州职业技术学院 山东电子职业技术学院 佛山科学技术学院 天津渤海职业技术学院 天津电子信息职业技术学院 陕西工业职业技术学院 江西工业职业技术学院 南昌大学科学技术学院 烟台工程职业技术学院 西安航空职业技术学院 石家庄邮电职业技术学院 黄冈职业技术学院 宁波职业技术学院 大连职业技术学院 南京信息职业技术学院 河北交通职业技术学院 广州民航职业技术学院 江苏工程职业技术学院 湖南应用技术学院 广东交通职业技术学院 陕西职业技术学院 广东轻工职业技术学院 杭州职业技术学院 江西交通职业技术学院 宁波大学科学技术学院 安徽职业技术学院 浙江工业职业技术学院 杨凌职业技术学院 上海电子信息职业技术学院 襄阳职业技术学院 成都航空职业技术学院 哈尔滨职业技术学院 莱芜职业技术学院 深圳信息职业技术学院

采用方法：

*  无用、垃圾网站：网址过滤
 *  黄/赌/毒/游戏类信息：规则过滤+网址过滤
 *  叠词重复问题：机器学习算法（采用词密度过滤，对多次出现的词进行统计，引入惩罚机制，在文章中出现的地方相隔不远，词频计数累加，即：第一次出现词频+1，相隔不远第二次又出现词频+2，第三次词频+3，如此类推，当相隔较远时，词频计数累加重新置为+1，最后计算最大词密度=词频/句子数)

结果：

1.  以下实验结果仅针对前述三种杂质，其他类型杂质过滤掉算正确，不过滤掉也不算错误。
2.  实验总共取一个月的数据4443条，其中程序判断过滤掉3259条，不过滤1184条。
3.  程序运行相关：平均26.88ms处理一条数据，CPU占用30%左右，运行内存占用100M左右。
4.  经过人工标注，采用相关过滤流程，可过滤大部分杂质，总体正确率95%以上。

标注统计结果如下：