知物由学 | 一文读懂互联网内容审核机制

àì夳堔傛蜴生んèń 2022-04-15 00:17 156阅读 0赞

欢迎访问[网易云社区][Link 1]，了解更多网易技术产品运营经验。

“知物由学”是[网易云易盾][Link 2]打造的一个品牌栏目，词语出自汉·王充《论衡·实知》。人，能力有高下之分，学习才知道事物的道理，而后才有智慧，不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人物思考和沉淀给你带来收获的同时，也希望打开你的眼界，成就不一样的你。当然，如果你有不错的认知或分享，也欢迎通过邮件（zhangyong02@corp.netease.com）投稿。

以下为本期正文：

由于Facebook，Twitter和YouTube都在不同程度上对内容审核团队的人力资源进行了配置，这里介绍几点这些系统中通常是如何工作的。其中大部分是基于我在YouTube工作时的经验，但我发现同行公司也以类似的方式这么做。请注意，我将重点关注用户生成/共享内容，而不是广告策略。广告通常拥有自己的独立标准。这里更多的是关于一般用户创建，上传和发布的文本，图像和视频/音频的审核策略。

**内容审核意味着什么？**

内容审核或内容审查是应用于用户在社交平台上上传、发布或共享的内容（文字，图片，音频，视频）的一个术语。它与广告或社论截然不同（例如，如果某个组织内存在这样的功能，则可以在网站上查找特色/促销内容），这些内容通常在审查内容时具有单独的团队和指导方针。

大多数内容审核团队的目标是执行产品的社区标准或服务条款、标准中规定了平台上可以共享的内容以及无法共享的内容。正如你可能猜到的，所有这些都有黑、白和灰色的区域，这意味着对于人工审核人员有指导、培训和升级策略。

**人什么时候参与到这个过程？**

如下两点审核对于人工来说是少有的（也是不可取的）：（a）审查网站上分享的所有内容。（b）审查内容预发布，即当用户试图分享某些内容时，在网站/应用程序上线之前，需要人为“批准”。

相反，公司依靠内容审查算法来完成很多繁重的工作。这些算法试图“理解”正在创建和共享的内容。其中包括：是谁上传的（帐户历史记录或缺少相关信息），是从哪里上传的，内容本身和其它元数据。由于内容存在于产品中，因此会获得更多数据—谁在使用它，是否被用户标记，是否由用户共享等等。

这些更丰富的信号将影响算法，继续调整其结论，即一段内容是否适合该网站。这些系统大多数都有用户标记工具，该因素严重影响了内容是否应该提升审查力度的算法评分。

大体而言，可以在任意给定时间将一段内容视为绿色，黄色或红色。绿色意味着算法认为内容在网站上存在是好的。黄色意味着内容是存疑的。红色，红色意味着它不应该在网站上。它们的界限都是不固定和不完美的。一直有误报的情况。

要想将内容策略的有效性考虑为正好，技术的质量将是不完备的。这实际上是一个由人为决定并在代码层面强制执行的策略问题。管理层需要设定绿色，黄色和红色之间的分界线。他们确定一个未知的新用户是否应该默认为可信的。他们总结了如何优先审查绿色，黄色或红色数据存储容器中的项目。这就是人工主要参与的地方…

**什么是审查队列？**

人工审查帮助算法创建训练集，但其主要功能是不断地为算法吐出的内容审查队列进行人员配置。队列通常分为不同的容器，根据审查的优先级（例如，这是紧急的，7\*24小时实时审查）以及审查人员的特点—受过不同类型的内容审查培训，会说不同的语言等等。这是一个内置大量逻辑的类似工厂的复杂系统。

进入平台的内容数量以及触发人工审查所需的算法阈值是影响进入审查队列的内容数量的因素。人工审查人员的数量，他们的培训/素质，以及他们工作的工具的有效性都会影响内容审查的速度。

因此，当听说“10,000人的审查人员被添加”时，它可能是（a）更多内容要被审查\[阈值正被修改以将更多内容放入审查队列中）和/或（b）审查队列内容需要审查的更快\[相同的内容，但更多的审查人员\]。

**这些公司真的关心这个事情吗？**

坦白地说答案是肯定的，但是……

内容操作通常是一个成本中心，而不是收入中心，因此它的管理就有成本风险以及可能会缺乏资源。

内容操作有时可能被认为是产品经理，设计师和工程师的“初学者”工作，因此它让较年轻的，缺少影响力的人员在1-2年后习惯性地转向新项目。

在高层领导和团队中缺乏多样性和错位激励，可能会导致对平台上“糟糕”内容的真实成本（对品牌，对用户体验）的低估。

为什么赤裸裸的色情内容是最容易审查的...但是为什么“性”内容审查更难？

因为比起Twitter，Facebook和YouTube，有很多更好的地方可以分享色情内容。而且算法实际上非常擅长检测裸体。然而，为满足性需求而制作的内容并不明确涉及裸体，这对于平台而言审查要困难得多。

**管理层应考虑什么是我的“最佳实践”？**

将其作为仪表盘级别的衡量标准，如果CEO和她的团队在使用内容、收入等方面关注内容安全指标，那将证明它很重要，并且会更适当地配备人员。

用\#s而不是百分比来说话，这些大平台总是说“好的，我们的内容99％是安全的”，但他们真正的意思是“1％的点仍然是一个真正的大数据。”最小化的框架真的是公关的事情—背离了认真对待这个事情的真正目标。

致力于防止重复侵权并从最初的侵权行为中快速恢复，没有人期望这些系统是完美的，我认为信任用户直到他们证明自己是不可信的通常才是好的。在他们不可信之后，用力打击。Twitter在这个问题上感觉特别糟糕—在任意给定的时间，系统上有很多灰色区域的用户。

管理层应该把时间花在审查队列上，当我在YouTube主导产品时，试图习惯性地花时间在内容审查队列上，因为我不想让自己脱离现实。我看到了许多令人讨厌的东西，但也一直赞赏我们的审核团队和用户所经历的一切。

响应时间是新的监管框架—，我想知道政府是否有责任对内容进行监管，但对内容标记的响应时间进行调整。这里有很多复杂的事情，规则可以创建激励不标记的内容，但这是我所不知道的一个领域。

本文为[网易云易盾][Link 2]组织翻译，来源：hterterwalk，译者：无阻我飞扬。

相关文章：  
【推荐】 [客户端模块化的 精益求精][Link 3]  
【推荐】 [react-native自定义原生组件][react-native]

[Link 1]: https://sq.163yun.com/blog?tag=M_tg_751_72
[Link 2]: https://www.163yun.com/product-secure?tag=M_tg_751_72
[Link 3]: https://www.cnblogs.com/163yun/p/9647560.html
[react-native]: https://blog.csdn.net/wangyiyungw/article/details/83141464