百度咋做长文本去重

痛定思痛。 2021-12-10 13:43 164阅读 0赞

[https://blog.csdn.net/wufaliang003/article/details/78409887][https_blog.csdn.net_wufaliang003_article_details_78409887]

缘起：

（1）原创不易，互联网抄袭成风，很多原创内容在网上被抄来抄去，改来改去

（2）百度的网页库非常大，爬虫如何判断一个新网页是否与网页库中已有的网页重复呢？

这是本文要讨论的问题（尽量用大家都能立刻明白的语言和示例表述）。

一、传统签名算法与文本完整性判断

问题抛出：

（1）运维上线一个bin文件，将文件分发到4台线上机器上，如何判断bin文件全部是一致的？

（2）用户A将消息msg发送给用户B，用户B如何判断收到的msg\_t就是用户A发送的msg？

思路：

一个字节一个字节的比对两个大文件或者大网页效率低，我们可以用一个签名值（例如md5值）代表一个大文件，签名值相同则认为大文件相同（先不考虑冲突率）

回答：

（1）将bin文件取md5，将4台线上机器上的bin文件也取md5，如果5个md5值相同，说明一致

（2）用户A将msg以及消息的md5同时发送给用户B，用户B收到msg\_t后也取md5，得到的值与用户A发送过来的md5值如果相同，则说明msg\_t与msg相同

结论：md5是一种签名算法，常用来判断数据的完整性与一致性

md5设计原则：两个文本哪怕只有1个bit不同，其md5签名值差别也会非常大，故它只适用于“完整性”check，不适用于“相似性”check。

新问题抛出：

有没有一种签名算法，如果文本非常相似，签名值也非常相似呢？

二、文本相似性的签名算法

上文提出的问题，可以用局部敏感哈希LSH（Locality Sensitive Hash）解决，局部敏感哈希是一类文本越相似，哈希值越相似的hash算法，有兴趣的同学自行百度，这里分享一下minHash的思路。

问题的提出：什么是minHash？

回答：minHash是局部敏感哈希的一种，它常用来快速判定集合的相似性，也常用于检测网页的重复性，其思路为，用相同的规则抽取集合中的少部分元素代表整个集合，如果少部分元素的重合度很高，非常可能整个集合的重复度也很高。

举例：待判定的集合为A\{1, 7, 5, 9, 3, 11, 15, 13\}

已有的集合为：

B\{10, 8, 2, 4, 6, 0, 1, 16\},

C\{100, 700, 500, 900, 300, 1100, 1500,1300\},

D\{1, 3, 2, 4, 6, 5, 8, 7\}

假设使用部分元素代替全体集合的规则为：集合内元素进行排序，取值最小的4个（这个过程有信息损失，我们可以认为是一个hash过程）

处理结果为：

A\{1, 3, 5, 7\}

B\{0, 1, 2, 4\} => A与B有1个元素相同

C\{100, 300, 500, 700\} => A与C有0个元素相同

D\{1, 2, 3, 4\} => A与D有2个元素相同

判断结论：我们认为集合A与集合D是最相似的

这个例子有点2，但基本能说明整体思路，实际在执行的过程中：

（1）我们可以使用更多的元素来代表集合，以提高准确性（例如，将上例中的4个元素代表集合升级为8个元素代表集合）

（2）我们可以使用更多的hash函数来代表集合，以提高准确性（例如，上例除了“排序后取值最小的4个元素代表集合”，还可以增加一个哈希函数“排序后取值最大的4个元素代表集合”）

（3）minHash可以量化评判相似度，亦可以评判网页是否重复（一个分类问题），设定相似度阈值，高于阈值为重复，低于阈值为不重复

（4）实际排重过程中，网页库中的哈希值都可以提前计算，只有待判定的集合或者网页的哈希值需要临时计算

三、minHash与长文本重复度检测有什么关系

目前看来没什么关系，但如果我们能将每一个长文本用一个集合来表示，就能将长文本的相似度用minHash来解决了。

问题的提出：如何将长文本转化为集合？

回答：我去，分词不是就可以么

举例：待判定的长文本为A\{我是58沈剑，我来自58到家\}

已有网页库集合为：

B\{我是一只来自58的狼\}

C\{58到家，服务到家\}

D\{这事和我没关系，我是凑数的\}

使用分词将上述文本集合化：

A\{我，58，沈剑，来自，到家\}

B\{我，58，来自，狼\}

C\{58，服务，到家\}

D\{事，我，凑数，关系\}

判断结论：当当当当，转化为集合后，可以快速判断A与B的相似度最高，当然实际执行过程中，除了分词还得考虑词频，用这种方法对长文本进行相似度检测，准确率非常高（文本越长越准）

四、还有没有更有效的方法

使用上述方法进行文本相似度检测，需要进行中文分词，词频统计，哈希值计算，相似度计算，计算量微大。

然而，抄袭成风，一字不改的风气，让技术有了更广阔的优化空间，赞！

怎么优化呢？

不再进行分词，而是进行“分句”，用标点符号把长文按照句子分开，使用N个句子集合（例如一篇文章中5条最长的句子作为签名，注意，长句子比短句子更具有区分性）作为文章的签名，在抄袭成风的互联网环境下，此法判断网页的重复度能大大降低工程复杂度，并且准确度也异常的高。

五、结论

在抄袭成风的互联网环境下，采用“分句”的方式，用5条最长的网页内容作为网页的签名，能够极大的降低排重系统复杂度，提高排重准确率，不失为一种好的选择。

用simhash算法

[https_blog.csdn.net_wufaliang003_article_details_78409887]: https://blog.csdn.net/wufaliang003/article/details/78409887

发表评论取消回复

表情：

评论列表（有 0 条评论，164人围观）

还没有评论，来说两句吧...

相关阅读

相关百度JS实现文本语音朗读

百度JS可以实现文本语音朗读的。摘要: 语音合成：也被称为文本转换技术(TTS)，它是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的口语输出的技术。

Myth丶恋晨/ 2024年04月03日 14:01/ 0 赞/ 86 阅读

相关 vue使用百度富文本教程

众所周知，富文本插件市面上多的很，国外的我们不谈，国内的也多如牛毛！！不得不说的是，百度自家的产品还是很不错的》》虽然早就不维护了。也比一些小流的好用，功能全。虽然操作起来复杂

我会带着你远行/ 2022年12月26日 04:45/ 0 赞/ 246 阅读

相关 ueditor百度文本编辑器

一.从官网上下载完整版和jsp版本地址：http://ueditor.baidu.com/website/download.html 二.将代码部署到实际项目中 1.

川长思鸟来/ 2022年08月12日 16:18/ 0 赞/ 279 阅读

相关关于百度富文本使用

一:百度富文本的基本使用引入百度富文本文件包，然后如下使用流程： 1. 引入js（路径根据需要改写） ![70][] <scr

冷不防/ 2022年05月23日 12:29/ 0 赞/ 360 阅读

相关百度富文本编辑器使用小结

转自：[https://blog.csdn.net/ck3345143/article/details/52231540][https_blog.csdn.net_ck3

素颜马尾好姑娘i/ 2022年05月18日 02:07/ 0 赞/ 319 阅读

相关基于百度AI做内容审核

先哭诉一下，百度提供的API和当前版本不对称，让在下头疼了一个多小时，在此作文为大家使用提供参考。一、引入sdk

超、凢脫俗/ 2022年05月10日 12:08/ 0 赞/ 225 阅读

相关 Shell下做简单的文本去重、交集、并集

工作中经常会碰到要拉取数据情况，有了数据之后做一个简单的处理。记录一下最常用到的做去重的操作假设有文件list1 1 1 2 2

爱被打了一巴掌/ 2022年04月16日 05:18/ 0 赞/ 158 阅读

相关使用SimHash进行海量文本去重

[https://www.cnblogs.com/maybe2030/p/5203186.html][https_www.cnblogs.com_maybe2030_p_520

偏执的太偏执、/ 2021年12月12日 17:51/ 0 赞/ 255 阅读

相关百度咋做长文本去重

[https://blog.csdn.net/wufaliang003/article/details/78409887][https_blog.csdn.net_wufali

痛定思痛。/ 2021年12月10日 13:43/ 0 赞/ 165 阅读

相关 simhash海量文本去重的工程化

[https://yuerblog.cc/2018/05/30/simhash-text-unique-arch/][https_yuerblog.cc_2018_05_30_

忘是亡心i/ 2021年12月05日 04:07/ 0 赞/ 336 阅读